Kafka 컨슈머 지연(Lag) 모니터링 & 에러 트래킹 개선

<aside> 💡

Kafka 모니터링·에러 자동화로 장애 인지/복구·운영 품질 혁신

</aside>

1. Burrow 기반 실시간 Lag 모니터링 & 슬랙 알림 자동화

도입 배경

• 컨슈머 Lag 확인 방법 : 실시간 식별만 가능

  • Apache Kafka UI

  • Kafka CLI 명령어

    ./kafka-consumer-groups.sh \\
    --bootstrap-server [kafka server ip]:[port] \\
    --describe --group [consumer group name]
    

• Kafka 컨슈머 위험 징후 식별과 직접 접근이라는 어려움

해결 방법

• Kafka 메트릭을 수집하여 InfluxDB 를 활용해 데이터 모니터링

• Burrow 도입 : 제한된 자원 안에서 요구사항을 충족

  

Burrow