Paimon 겟또다제 ! (w/ ADVoost Shopping)
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
ADVoost Shopping은 광고 메타데이터와 캠페인 소진량 등을 실시간으로 결합해 유효 광고를 선정하고, 결과 피처를 피처 스토어에 제공하는 구조를 만들었다. Kafka 데이터를 Apache Flink로 처리해 Apache Paimon에 적재하고, Partial Update와 RowKind를 이용해 부분 갱신과 광고 그룹의 삭제·갱신을 반영했다. Paimon은 Flink와의 통합, 스트리밍 처리, 스냅샷 기반 디버깅과 자동 테이블 관리가 도입 이유였으며, Apache Iceberg와의 비교에서는 체인지로그 지원과 운영 편의성을 고려해 Paimon을 선택했다. 다만 테이블 모드와 체인지로그 생성 방식에 따라 읽기·쓰기 성능 차이가 크므로, 실제 워크로드에 맞춘 옵션 튜닝과 검증이 필요하다는 점을 공유했다.
- Flink와 Paimon을 연결하면 Kafka에서 받은 변경 데이터를 스트리밍 조인해 유효 광고 피처를 만들고 피처 스토어에 전달할 수 있다.
- Paimon의 Partial Update와 RowKind를 활용하면 CDC에 없는 컬럼을 보완하고 광고 그룹의 삭제·갱신을 표현할 수 있다.
- Merge-on-Read는 쓰기 부담이 낮지만 읽기 시 여러 파일을 병합하며, Merge-on-Write는 삭제 벡터 생성 비용과 읽기 성능 개선을 함께 고려해야 한다.
- Lookup 기반 체인지로그 생성은 기존 데이터를 조회해 변경분을 계산하므로 비용이 크며, 입력에서 완전한 체인지로그를 제공한다면 Input 모드가 효율적이다.
- 버킷 프루닝을 기대하려면 버킷 키 전체를 필터 조건에 포함해야 하며, 테이블 간 조인에서 셔플을 줄이려면 버킷 키와 버킷 수를 맞춰야 한다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] ADVoost Shopping에서 실시간 유효 광고 선정을 위해 Apache Flink와 Paimon을 활용한 architecture에 대해 소개합니다. Apache Paimon의 주요 기능과 다양한 옵션들에 대해 소개합니다. [강의 대상 및 직군] 실시간 처리를 위해 고민하고 있는 데이터 엔지니어 Paimon, Iceberg와 같은 lakehouse format을 운영하거나 도입하려는 데이터 엔지니어 [목차] Episode 1: ADVoost Shopping에서 실시간 유효 광고 선정을 처리하는 법 - Apache Paimon을 활용한 실시간 유효 광고 선정 Architecture - 실시간 유효 광고 선정에서 Apache Flink + Paimon을 도입한 이유 - Apache Paimon 소개 Episode 2: Apache Paimo...
비슷한 학습 자료
컨퍼런스 if kakao
AI 기반 광고 추천 시스템에서 스파크 스트리밍은 실시간 데이터 처리를 위한 핵심 구성 요소로 작동합니다. 이 파이프라인은 사용자 행동 데이터를 실시간으로 수집하고 처리하여 개인화된 광고를 추천하는 데 사용됩니다. 이번에 발표할 내용은 스파크 파이프라인 아키텍처와 스파크를 효과적으로 모니터링하기 위한 방법들을 소개합니다. #카프카 #스파크 #실시간_파이프라인 #빅데이터 광고추천팀에서 실시간 데이터 프로세싱과 서빙을 맡고 있는 Cory입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-23 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2024
TEAM NAVER CONFERENCE DAN 24 KEYNOTE 04 AI-Generated Value-driven Advertising: Providing Information that Users Need and Delivering Maximum ROI for Advertisers Introducing the direction of change and innovation that NAVER advertising platform will make based on AI technology - To view English subtitles, please select English in the subtitle settings. - Learn more about DAN 24: https://dan.naver.com
인공지능 기타 프로덕트 지표 · 실험
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 단 하나의 문장으로: Foundation Model이 답해주는 차세대 Audience Targeting, COMPASS 기존 광고 오디언스 타겟팅은 도메인별로 모델이 파편화된 사일로(Silo) 구조로 인해 확장성과 유지보수 측면에서 근본적인 한계에 직면했습니다. 본 세션에서는 이러한 한계를 극복하기 위해 사용자에 대한 통합된 이해를 제공하는 광고 Foundation Model을 도입하고, 미리 정의된 정적(Static) 세그먼트의 벽을 넘어선 차세대 오디언스 플랫폼 COMPASS의 개발 경험을 공유합니다. 특히, 광고주의 복잡하고 동적인 의도를 자연어로 입력받아 실시간 타겟팅을 가능하게 하는 Text2Segment 기술과 그 기반이 되는 핵심 엔진 아키텍처를 다룰 예정입니다. 또한, 실제 프로덕션 환경에 적용하며 겪었던 어려움을 공유하고, 멀티모달(Multimodal)로 확장하는 미래 비전을 제시하고자 합니다. 목차 1. 광고 필수 요소 : Au...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
실시간 광고 사용자 ID 매핑
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(5월)에서 발표되었던 세션을 공개합니다. ----- 이 세션에서는 실시간으로 광고 사용자 ID를 매핑하는 시스템에서 대해서 이야기합니다. gRPC, Spark Structured Streaming, Kafka 을 통해 마이크로서비스 아키텍처를 구축하는 법을 포함합니다. 사용자 ID를 그래프 구조로 맵핑하는 법을 포함합니다. [목차] 실시간 광고 사용자 ID 매핑 소개 해결과제 시스템 설계 ID 매핑 트리 알고리즘 gRPC 기반 ID 생성기 Spark Structured Streaming 애플리케이션 발전 방향 [강의 대상 및 직군] gRPC, Spark Structured Streaming 도입에 대해서 고민하시는 분들 마이크로서비스 아키텍처 구축에 관심이 있으신 분들 광고 사용자 ID 맵핑에 관심이 있으신 분들
백엔드 데이터베이스 네트워크