본문 바로가기

fluent-bit

(2)
EFK 구축 후기 - 2편 EFK 구축후기 1편에 이어서.. 작성!! kibana 날짜 문제 kibana를 보니, 해당 날짜로 index를 생성해서 로그를 수집하다보니 항상 오전9시부터 로그가 있다는 것을 알게 되었다. 잘 안보이긴 하지만, 전날(26일) index를 보면 27일 0시~9시까지의 로그가 존재하는 것을 확인할 수 있다. logstash_foramat을 이용하여 index를 생성하다 보니 날짜 부분을 신경쓰지 못했는데, 원인을 생각해보니 다음과 같았다. 로그의 timestamp : UTC+9 kibana : UTC+9 index name : UTC+0 사진을 보면 알겠지만, kibana의 시간은 지금 UTC+9로 되어있고, index format은 UTC+0으로 되어 있어서 발생하는 문제였다. 일단, 임시로... UT..
EFK 구축 후기 - 1편 최근에 회사에서 쿠버네티스에 배포된 애플리케이션 로그 확인을 위한 EFK 구축을 진행했었다. 이번 포스팅은 해당 과정에서 겪었던 문제와... 고민들? 위주로 작성할 것이다. 나에게 주어진 문제 단순히 EFK를 배포하는 것에서 F에 해당하는 Fluentd와 Fluent-bit를 비교해보고 결정해보라는 미션(?)이 주어졌다. 일단은 부하테스트를 진행해보고 해당 결과를 통해 인사이트를 도출해보라는 힌트가 있었다! 그렇다면 우선, fluent-bit와 fluentd 모두 배포를 진행해야 했었다. EFK 배포? 기본적으로 GitOps 방식을 채택하고, ArgoCD를 이용하여 앱을 배포하고 있는 구조에서 외부의 helm chart를 이용하여 앱 배포를 진행하였다. 사실 helm chart를 이용한 방법은 정말 간단..