<aside> 💡

요약

OpenSearch ELK Stack 의 Elasticsearch 의 1.7 버전의 오픈소스를 기반으로 AWS 에서 제공하는 검색 엔진 + 대시 보드

</aside>

• 목차

로그 수집 기술

• OpenSearch 에 대해서 알아본다 했는데 갑자기 로그 수집에 대한 이야기가 나온다.
• 로그 수집 기술?! 개발자라면 관심 있을법 하지만 일반적인 상황에서는 큰 의미를 가지지 못한다. 그저, “히스토리를 남긴다” 정도의 의미
  • 실무를 하기 전까지는 개발자여도 에러가 발생하면 콘솔에 찍어보는 정도가 다 이지 않을까 한다.
  • 개발하면서 100% 완벽하게 돌아가는 건 없다고 생각하기도 한다.
• 로그 수집 기술은 실무에 시스템 즉, 서비스를 운영하는데 있어서 가장 중요한 정보가 된다.
  • 시스템 운영에 발생할 수 있는 모든 상황을 로그 수집을 통해서 히스토리와 동작을 확인해보면서 빠르게 문제를 대응할 수 있기 때문이다.
• 로컬 개발과 다르게 실제 운영은 1초도 아까운 시간이 된다. 사용자는 1초를 10분 1시간이라고 느낄 수도 있으니깐 말이다.
• 여러 로그 수집 기술이 있고, Logback, Log4j 등 로그 출력 라이브러리도 다양하게 존재한다.
• 그 중 ELK Stack 이라고 불리우는 Elasticsearch 의 로그 수집 기술을 알아 보자.

ELK Stack ?

ELK Stack

• ElasticSearch, Logstash, Kibana, Beats 의 세 가지 프로젝트로 구성된 스택을 의미하는 약어 입니다.

• Elasticsearch 라고도 불리는 ELK Stack 은 사용자에게 모든 시스템과 애플리케이션에서 로그를 집계하고 이를 분석하며 애플리케이션과 인프라 모니터링 시각화를 생성하고, 빠르게 문제를 해결하며 보안 분석을 할 수 있는 능력을 제공 합니다.

• 모두 Elastic 에서 제공하는 오픈 소스

  • Elasticsearch = 로그 저장 및 검색
  • Logstash = 로그 수집 엔진
  • Kibana = 로그 시각화 및 관리
  • Beats = 경량 데이터 수집기

  

E = Elasticsearch

• Apache Lucene 에 구축 되어 배포된 검색 및 분석 엔진입니다.
• 다양한 언어를 지원하고 고성능에 스키마가 없는 JSON 문서로 다양한 로그 분석과 검색 사용 됩니다.
• Elasticsearch API 를 사용해 문서 검색하고 조회 할 수 있으며, Kibana 시각 도구를 활용해 대시보드를 구축 할 수 있습니다.