처음 만나는 OpenTelemetry (feat. Collector)
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
10년 이상 운영한 검색 모니터링 플랫폼 SEER를 OpenTelemetry와 오픈소스 기반으로 전환하기 위해 학습한 내용을 바탕으로, 텔레메트리 표준과 OTLP, Collector의 구성 및 배포 방식을 소개했습니다. Collector의 receiver·processor·exporter와 OpenTelemetry Operator의 역할을 설명하고, Kafka 기반 수집에서 메시지 마킹과 비동기 처리로 생길 수 있는 주의점을 다뤘습니다. 팀은 Kafka receiver에 영구 오류별 메시지 마킹 옵션을 추가하고, Operator에서 Target Allocator의 타겟 조회 주기를 설정할 수 있도록 오픈소스에 기여했습니다. 표준화는 백엔드 전환과 데이터 연계를 유연하게 하지만, 실제 운영에서는 컴포넌트별 오류 처리와 동작 방식을 확인해야 한다는 점을 공유했습니다.
- OTLP는 트레이스·메트릭·로그를 통합해 전송하지만, 실제 사용 전에는 백엔드가 지원하는 프로토콜과 인코딩을 확인해야 합니다.
- Collector의 receiver, processor, exporter를 조합해 수집부터 가공, 전송까지 구성하고, 배포 패턴은 확장성과 운영 복잡도를 함께 고려해 선택합니다.
- Kafka receiver를 사용할 때는 파이프라인 구성 요소의 동기·비동기 동작과 오류 유형별 메시지 마킹 정책을 확인해야 합니다.
- 배치 프로세서는 비동기로 동작하므로 Kafka 메시지 처리 완료를 보장하려는 구성에서는 오류 전파가 기대와 다를 수 있습니다.
- 쿠버네티스의 OpenTelemetry Operator는 커스텀 리소스를 원하는 상태로 조정하며, Target Allocator로 Prometheus 스크랩 대상을 Collector에 분배할 수 있습니다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 검색 모니터링 플랫폼인 SEER를 OpenTelemetry, OpenSource 기반으로 전환을 준비하며 OpenTelemetry에 대해 학습한 내용과, OpenTelemetry 생태계에 기여한 경험을 공유합니다. [목차] * OpenTelemetry * OTLP * OpenTelemetry Collector * OpenTelemetry Collector - receiver * OpenTelemetry Collector - processor * OpenTelemetry Collector - exporter * OpenTelemetry Operator * OpenTelemetry Contribution
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 보이지 않는 것을 보다 : Observability(O11y) Platform으로 여는 새로운 가능성 Observability Platform(REO)을 통해 클라우드 서비스의 SLI/SLO 측정 및 구현/적용 방법과 서비스 관점 모니터링에 대한 관찰 가능성의 접근 방법을 설명합니다. 목차 1. SRE Observability(O11y) Platform(REO) A to Z - Overview of Observability Platform Observability & Monitoring 특징 비교 Observability Platform Coverage 및 Architecture Service Quality Signal to Metric/Indicator/Objective Service Level Metric Dashboard & Alarm - Observability Pla...
데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
VLOps:Event-driven MLOps & Omni-Evaluator
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - Event-driven MLOps는 학습·평가·배포를 Typed Message 단위로 정의하고, Event Sensor가 이를 감지해 자율적으로 실행하는 구조입니다. - Kubeflow 같은 파이프라인처럼 전체 버전 관리가 필요하지 않으며, 메시지를 추가하는 것만으로 기능 확장이 가능합니다. - 사용자는 내부 오케스트레이션을 몰라도 메시지 발행만으로 동일한 파이프라인을 구동할 수 있습니다. - 이를 통해 평가·배포 시스템 간 느슨한 결합(Loose Coupling)과 클라우드 간 호환성을 확보했습니다. - Omni-Evaluator와 Dashboard는 다양한 엔진·벤치마크를 통합하고, 실시간 모니터링과 사용자 주도 트리거 기능을 제공합니다. [발표 대상] MLOps 엔지니어, ML 리서처, 데이터 사이언티스트 클라우드 인프라/DevOps 개발자, ...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
Telegraf로 커스텀 지표 수집하기: Exporter 개발 경험 공유
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Telegraf를 활용한 Exporter 개발 경험 공유 및 가이드를 소개합니다. [발표 대상] 오픈소스 기반 Exporter와 Telegraf 적용을 고려중인 엔지니어 [목차] 1. 오픈소스 기반 Exporter 도입 배경 2. 오픈소스 Benchmark Test 3. Telegraf 란? 4. Telegraf 적용 후 개선점 5. Telegraf 옵션 6. Telegraf 기술적 이슈 해결
데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (3)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka Client는 어떻게 클러스터의 전체 상태를 알 수 있는가? 서비스를 개발하는 입장에서 관련 옵션을 어떻게 잡아 주면 좋은가? 에 대해 설명합니다. [목차] * Kafka metadata란 무엇인가? * 동작 매커니즘 - 브로커 - 클라이언트 간 metadata 교환 - 브로커 간 metadata 교환 * 결론 - ... 그리고 하나 더
백엔드 네트워크
컨퍼런스 엔지니어링데이 2025
늘어가는 조회트래픽 Elasticsearch로 분산시키기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스