![[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기](https://i.ytimg.com/vi/uPT5LyxYie4/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기
DAN 2025 네이버 · YouTube
AI 핵심 요약
AdVoost Shopping은 대규모 쇼핑 상품과 광고 메타데이터를 빠르고 정확하게 연동하면서 원본 시스템 부하와 데이터 정합성을 함께 관리해야 했다. 광고 메타데이터의 계층적 변경 전파에는 Kafka Streams FK 조인을, API 캐시 무효화에는 ZooKeeper를 적용해 관련 데이터만 갱신하고 캐시의 오래된 값을 빠르게 제거했다. 상품 선정에는 Iceberg의 스냅샷·델타 테이블과 주기적 병합, 태그 및 파티션을 활용해 원본 덤프 부담을 줄이고 검증과 롤백을 쉽게 했으며, 외부 필터 변경은 배치로 상품 이벤트에 변환해 단일 파이프라인으로 처리했다. 실시간성을 모든 경로에서 고집하기보다 필요한 곳에 적용하고, 단순한 구조와 명확한 책임 분리로 운영성을 높이는 것이 핵심 교훈이었다.
- 상위 엔티티 변경을 하위 데이터에 전파할 때 Kafka Streams의 FK 조인을 활용하면 전체 복제 대신 관련 데이터만 갱신할 수 있다.
- Kafka Streams 토폴로지를 바꿀 때는 조인 테이블과 내부 토픽 이름을 고정하고, 매핑 상태 복구와 전체 리셋 절차를 충분히 검증해야 한다.
- Iceberg의 스냅샷·델타 테이블을 주기적으로 병합하고 태그로 데이터 구간을 표시하면 처리 비용과 복구·검증 부담을 관리하기 쉽다.
- 파티션과 버킷은 실제 조회 패턴에 맞춰 설계하고, 과도한 버킷이나 광고주별 데이터 편중으로 인한 스큐를 주의한다.
- 외부 메타데이터 변경을 배치로 상품 변경 이벤트에 변환하면 파이프라인을 단순화할 수 있지만, 반영 지연을 감수해야 한다.
소개
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Deep Dive 02 두 개의 에이전트, 하나의 플랫폼: NAVER ADS 로드맵 [TEAM NAVER Conference DAN25] Deep Dive 02 Two Agents, One Platform: The NAVER Ads Roadmap 사용자와 광고주에게 서비스 레벨의 매력적인 경험을 제공하기 위한 두 가지 에이전트를 소개합니다. To provide a compelling, service-level experience for users and advertisers, we introduce two agents that go beyond ADVoost.
AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 단 하나의 문장으로: Foundation Model이 답해주는 차세대 Audience Targeting, COMPASS 기존 광고 오디언스 타겟팅은 도메인별로 모델이 파편화된 사일로(Silo) 구조로 인해 확장성과 유지보수 측면에서 근본적인 한계에 직면했습니다. 본 세션에서는 이러한 한계를 극복하기 위해 사용자에 대한 통합된 이해를 제공하는 광고 Foundation Model을 도입하고, 미리 정의된 정적(Static) 세그먼트의 벽을 넘어선 차세대 오디언스 플랫폼 COMPASS의 개발 경험을 공유합니다. 특히, 광고주의 복잡하고 동적인 의도를 자연어로 입력받아 실시간 타겟팅을 가능하게 하는 Text2Segment 기술과 그 기반이 되는 핵심 엔진 아키텍처를 다룰 예정입니다. 또한, 실제 프로덕션 환경에 적용하며 겪었던 어려움을 공유하고, 멀티모달(Multimodal)로 확장하는 미래 비전을 제시하고자 합니다. 목차 1. 광고 필수 요소 : Au...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지 네이버는 50여 개국에서 유입되는 수백만 규모의 트래픽을 24/7 안정적으로 처리하고 있습니다. 본 세션은 대규모 이벤트 운영 경험을 바탕으로 지연·장애·비용 문제를 해결하기 위한 엔지니어링 사례와 그 과정에서 얻은 교훈을 다룹니다. 아울러 한계를 넘어서기 위한 새로운 도전인 NVELOP(NAVER Velocity Platform) 의 배경과 방향을 소개합니다. 목차 1. Intro - 네이버 글로벌 라이브 스트리밍 플랫폼의 인프라 구성 개요 - 서비스 콘셉트와 챌린지 2. 무중단 서비스를 위한 엔지니어링 사례 - 대규모 트래픽 분산·제어 전략 - 전송 플랫폼 **최적화(Tune-in) **사례 - **Observability **도입 3. NVELOP (NAVER Velocity Platform) 방향 - 기존 플랫폼 한계 ...
데브옵스 · 인프라 네트워크
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지 이번 세션은 네이버 플레이스 AI Briefing 생성의 기술적 파이프라인을 다룹니다. Retrieval - Reranking - Summarization 구조를 중심으로 탐색형·정답형·정보형 태스크 차이를 설명하고, 텍스트와 이미지 정보를 요약하는 방법을 소개합니다. 구체적으로 Text Encoder·Reranker·Multi-modal Encoder의 데이터셋 구축, 모델 선택과 학습 방법론, 도메인 특화 모델 평가 사례, 그리고 ICL·Distillation 기반 요약 기법을 공유합니다. 마지막으로 서비스 적용 경험을 토대로 효율 최적화, 대형·경량 모델 조합 등 실무 전략을 제시합니다. 이 과정을 통해 얻은 통찰이 더 나은 서비스 설계와 발전 방향을 모색하는 데 기여하길 바랍니다. 목차 1. Overview - Place AI Briefing - 서비스 설명과 사례 ...
컴퓨터 비전 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 네이버쇼핑 유저리서치 인프라: 구축부터 확산까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 네이버쇼핑 유저리서치 인프라: 구축부터 확산까지 네이버쇼핑은 고객 친화적인 서비스를 위해, 고객의 경험을 지속적으로 탐구하고 있습니다. 이를 위해 네이버쇼핑은 조직 내에서 고객 경험 리서치(CX Research)를 수행하는 동시에 리서치 운영 체계(Ops)를 정립하는 방식으로, 리서치 인프라를 꾸준히 확장(Scaling) 해오고 있습니다. 본 세션에서는 ‘리서치를 수행하는 팀’에서 나아가, ‘조직이 리서치를 활용하는 시스템’을 만들어온 현장의 경험을 공유합니다. 이를 통해 네이버쇼핑만의 사례를 넘어 업계 전반에서 고객 경험을 연구하고 활용하는 방식에 대한 공감대를 나누고자 합니다. #DAN #DAN25 #TEAMNAVERCONFERENCE
UI/UX
컨퍼런스 엔지니어링데이 2025
Paimon 겟또다제 ! (w/ ADVoost Shopping)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] ADVoost Shopping에서 실시간 유효 광고 선정을 위해 Apache Flink와 Paimon을 활용한 architecture에 대해 소개합니다. Apache Paimon의 주요 기능과 다양한 옵션들에 대해 소개합니다. [강의 대상 및 직군] 실시간 처리를 위해 고민하고 있는 데이터 엔지니어 Paimon, Iceberg와 같은 lakehouse format을 운영하거나 도입하려는 데이터 엔지니어 [목차] Episode 1: ADVoost Shopping에서 실시간 유효 광고 선정을 처리하는 법 - Apache Paimon을 활용한 실시간 유효 광고 선정 Architecture - 실시간 유효 광고 선정에서 Apache Flink + Paimon을 도입한 이유 - Apache Paimon 소개 Episode 2: Apache Paimo...
데이터베이스 데브옵스 · 인프라