Telegraf로 커스텀 지표 수집하기: Exporter 개발 경험 공유
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
클라우드 네이티브 환경에 맞는 표준 지표 수집과 레거시 에이전트의 유지보수 부담을 해결하기 위해, Telegraf 기반 Prometheus Exporter를 개발했다. Telegraf·Fluentd·Fluent Bit을 비교한 뒤 지표 처리 플러그인과 성능, Go 기반 유지보수성을 고려해 Telegraf를 선택하고, Input·Processor·Aggregator·Output 플러그인으로 수집 파이프라인을 구성했다. 설정 중심으로 신규 Exporter 개발과 지표 변경이 쉬워졌으며, 발표에서는 개발 리소스가 6MD에서 2MD로 줄고 지표 수집 주기를 83% 단축했다고 공유했다. Grace 옵션과 히스토그램 버킷 설정, 카운터 타입 수집, 환경 변수 기반 메타데이터 전달 및 로그 파싱 최적화 등 구현 과정의 주의점도 소개했다.
- Telegraf의 Input·Processor·Aggregator·Output 플러그인을 조합하면 수집부터 변환·집계·전송까지 설정 중심으로 구성할 수 있다.
- Aggregator의 Grace 옵션은 집계 윈도우 경계에 늦게 도착한 지표가 누락되는 문제를 줄인다.
- 히스토그램 버킷은 정확도와 카디널리티·저장 공간 사이의 균형을 고려해 정하고, 롱테일 데이터에는 지수 증가 방식이 유용하다.
- 서로 다른 수집 프로세스 간 결과 참조가 필요하면 Kubernetes Downward API나 실행 전 스크립트로 환경 변수를 제공할 수 있다.
- 모든 지표에 적용되는 글로벌 태그는 처리량에 영향을 줄 수 있으므로, 가공과 집계가 끝난 지표에만 태그를 추가하는 방식을 검토한다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Telegraf를 활용한 Exporter 개발 경험 공유 및 가이드를 소개합니다. [발표 대상] 오픈소스 기반 Exporter와 Telegraf 적용을 고려중인 엔지니어 [목차] 1. 오픈소스 기반 Exporter 도입 배경 2. 오픈소스 Benchmark Test 3. Telegraf 란? 4. Telegraf 적용 후 개선점 5. Telegraf 옵션 6. Telegraf 기술적 이슈 해결
비슷한 학습 자료
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 (이주원) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 프로덕트 지표 · 실험
컨퍼런스 엔지니어링데이 2025
처음 만나는 OpenTelemetry (feat. Collector)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 검색 모니터링 플랫폼인 SEER를 OpenTelemetry, OpenSource 기반으로 전환을 준비하며 OpenTelemetry에 대해 학습한 내용과, OpenTelemetry 생태계에 기여한 경험을 공유합니다. [목차] * OpenTelemetry * OTLP * OpenTelemetry Collector * OpenTelemetry Collector - receiver * OpenTelemetry Collector - processor * OpenTelemetry Collector - exporter * OpenTelemetry Operator * OpenTelemetry Contribution
데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (3)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka Client는 어떻게 클러스터의 전체 상태를 알 수 있는가? 서비스를 개발하는 입장에서 관련 옵션을 어떻게 잡아 주면 좋은가? 에 대해 설명합니다. [목차] * Kafka metadata란 무엇인가? * 동작 매커니즘 - 브로커 - 클라이언트 간 metadata 교환 - 브로커 간 metadata 교환 * 결론 - ... 그리고 하나 더
백엔드 네트워크
컨퍼런스 엔지니어링데이 2025
늘어가는 조회트래픽 Elasticsearch로 분산시키기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
입만 가지고 떠드는 개발자가 ChatGPT에게 외주줘서 만든 Mysql 복제지연 모니터링 - 최정오
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(7월)에서 발표되었던 세션을 공개합니다. ----- ETECH조직 클라우드2개발에서 프리즘 서버 개발을 담당하고 있습니다. C++과 Java FE/BE에 3D그래픽스와 임베디드까지, 잘하는건 없어도 모르는건 없다는 핀잔을 듣는 개발자입니다. 점점 더 게을러지고 있어 큰일인데, 생성형AI 덕분에 앞으로도 문제없을거 같아 기쁩니다. [발표 내용] 생성형 AI를 이용한 개발 및 코딩 진행 생성형 AI를 활용하여 개발에 손을 더는 방법 pt-heartbeat를 이용한 Mysql 복제지연 모니터링 [강의 대상] 생성형 AI를 활용하는게 너무 어렵게 느껴지는 주니어 개발자 각종 솔루션들의 환경설정과 파라미터를 외우는데 어려움을 겪는 모든 개발자
데이터베이스 AI 코딩