![[팀네이버 컨퍼런스 DAN25] Pinpoint x Pinot - 400만 TPS 실시간 분석, 운영에서 튜닝까지](https://i.ytimg.com/vi/8VAbeepGTtU/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] Pinpoint x Pinot - 400만 TPS 실시간 분석, 운영에서 튜닝까지
DAN 2025 네이버 · YouTube
AI 핵심 요약
Pinpoint는 대규모 APM 데이터를 빠르게 저장·조회하기 위해 분산 OLAP 데이터베이스인 Apache Pinot를 도입했고, Kafka 실시간 수집과 Kubernetes·Helm 기반 운영을 적용했습니다. 발표자는 테이블과 인덱스 설계, Kafka 파티션과 Pinot 세그먼트의 분산, 쿼리 프루닝 및 서버 로그 분석을 통해 성능을 튜닝한 경험을 공유했습니다. Pinot의 스키마 변경 제약, ZooKeeper 의존성, 하이브리드 테이블의 오프라인 전환 병목 등 운영상 한계와 우회 방법도 짚었습니다. 핵심 교훈은 Pinot의 기능을 그대로 가정하지 말고 실제 데이터 분포와 코드·지표를 확인하며 설계와 장애 대응을 준비해야 한다는 것입니다.
- Pinot는 컬럼 기반 저장과 분산 집계를 활용하므로, 데이터를 클라이언트로 대량 전송하기보다 Pinot에서 집계하도록 쿼리를 설계하세요.
- 실시간 테이블은 Kafka 파티션 키와 Pinot의 정렬 키를 맞추고, 데이터 쏠림이 있으면 파티션 확대나 키 조합·테이블 분할을 검토하세요.
- Pinot는 테이블·컬럼 이름 변경과 일반적인 UPDATE·DELETE에 제약이 있으므로, 초기 스키마를 확장 가능하게 설계하고 변경 시 새 테이블로 전환하는 전략이 필요합니다.
- 쿼리 성능은 컨트롤러의 세그먼트 처리 지표와 서버 로그를 함께 확인하고, 요청 ID로 병목이 발생한 서버를 추적하세요.
- ZooKeeper는 Pinot 메타데이터를 보관하므로 디스크 여유 공간과 모니터링·알림을 확보하고, 장애 시 복구 가능성을 우선 관리해야 합니다.
소개
[팀네이버 컨퍼런스 DAN25] Pinpoint x Pinot - 400만 TPS 실시간 분석, 운영에서 튜닝까지 Pinot 해외에서는 등에서 널리 활용되는 Pinot. 하지만 국내에서는 기술 자료와 실무 개발 & 운영 경험 공유가 극히 희귀합니다. 이번 발표에서는 400만 TPS를 처리하는 Pinpoint가 Pinot를 통해 어떻게 개발 생산성과 대용량 데이터 처리 성능을 획기적으로 끌어올렸는지 생생하게 공유합니다. 개발 과정에서 겪은 데이터 구조 설계의 시행착오, Helm Chart 커스텀 운영 사례, 테이블/인덱스 최적화 방법, 쿼리 성능 튜닝 전략까지 실제 경험 기반 노하우를 전달합니다. 또한 다수의 코드 레벨 분석을 통해 발견한 Pinot의 한계와 주의사항을 공개하여, 청중들이 불필요한 삽질 시간을 줄이고 곧바로 실무에 적용할 수 있도록 돕겠습니다. 마지막으로 발표 내용과 관련된 모든 내용은 PINPOINT 오픈소스에 반영되어 있어 코드와 설정을 직접 확인할 수...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 대화형 AI로 바꾼 데이터 협업: 데이터 활용의 장벽을 없애다
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 대화형 AI로 바꾼 데이터 협업: 데이터 활용의 장벽을 없애다 대화형 AI로 바뀐 데이터 협업 데이터는 많지만, 이를 쉽게 활용하거나 협업하는 것은 여전히 어렵습니다. 지표 조회나 단순 데이터 확인조차 반복적으로 요청해야 했고, SQL 의존으로 인해 데이터 활용은 전문가 중심에 머물러 있었습니다. KeplerChat은 이러한 장벽을 허물고, 데이터 협업 방식을 바꾸며 데이터 활용의 평등한 접근을 실현하기 위해 탄생했습니다. 주요 기능 데이터 탐색: - 자연어로 지표 검색, 스키마 확인(DataHub), - 데이터 기반 정보와 히스토리 파악을 통해 지식을 습득하고 활용 데이터 쿼리 작성: SQL 자동 생성 및 수정 데이터 실행 및 분석: 실시간 쿼리 실행 결과 제공, 주요 인사이트 도출 및 시각화 대시보드 해석 및 차트 기반 분석: 내부 BI(Metabase) 연동으로 수치와 시각화를 자동 해석하고 분석 지원 데이터 과제 인입 자동화: ...
데이터베이스 인공지능 기타
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지 네이버는 50여 개국에서 유입되는 수백만 규모의 트래픽을 24/7 안정적으로 처리하고 있습니다. 본 세션은 대규모 이벤트 운영 경험을 바탕으로 지연·장애·비용 문제를 해결하기 위한 엔지니어링 사례와 그 과정에서 얻은 교훈을 다룹니다. 아울러 한계를 넘어서기 위한 새로운 도전인 NVELOP(NAVER Velocity Platform) 의 배경과 방향을 소개합니다. 목차 1. Intro - 네이버 글로벌 라이브 스트리밍 플랫폼의 인프라 구성 개요 - 서비스 콘셉트와 챌린지 2. 무중단 서비스를 위한 엔지니어링 사례 - 대규모 트래픽 분산·제어 전략 - 전송 플랫폼 **최적화(Tune-in) **사례 - **Observability **도입 3. NVELOP (NAVER Velocity Platform) 방향 - 기존 플랫폼 한계 ...
데브옵스 · 인프라 네트워크
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 하루 수백억 건을 처리하는 똑똑한 로그 파이프라인 만들기: 비용·성능·안정성 삼박자 네이버 전사 로그(최대 초당 수백만건, 하루 수백억건의 로그)를 수집/처리하는 로그 파이프라인 Logiss를 소개하고, Logiss에서 겪은 문제점들과 해결책들을 공유합니다. Storm + kafka 환경에서 multi topology를 적용하는 방법과 이를 통해 안정적인 무중단 배포가 가능해진 파이프라인과 지능형 파이프라인의 도입으로 낮시간의 피크 트래픽을 한가한 시간으로 분산시킨 방법, 장애 상황에서 로그의 우선 순위에 따른 차등된 처리 방식, 샘플링 기능으로 저장소를 효율적으로 이용할 수 있게된 방법을 알려드립니다. 목차 1. Logiss 시스템 소개 - Storm, Kafka, Logstash, OpenSearch로 구성된 파이프라인 아키텍처 - 네이버 서비스 전반에서 발생하는 로그를 수집, 하루 수백억 건의 로그를 실시간 처리...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기 이 세션에서는 KREAM 데이터 플랫폼의 핵심 기반인 Lakehouse를 개발한 배경과 기술적 세부사항, 그리고 그로 인해 가능해진 변화들을 공유합니다. KREAM의 Lakehouse는 Kafka Ecosystem, Spark, Flink, Iceberg(HDFS), Hive Metastore, Trino, Airflow 등의 데이터 처리 기술을 활용하여 구축되었습니다. 메인 서비스 DB에서 실시간으로 발생하는 데이터와 하루 N억 건 이상의 유저 행동 데이터를 통합해, 데이터가 필요한 사내 모든 구성원들이 보다 빠르고 효율적으로 데이터를 획득·활용할 수 있게 되었습니다. Lakehouse를 개발하면서 겪은 고민과 경험들을 공유합니다. 목차 1. Lakehouse 도입 배경 2. Lakehouse 설계 & 기술 선택 3. Lakehouse 구성요소 & 데이터 파...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
데이터베이스 데브옵스 · 인프라