실시간 광고 사용자 ID 매핑
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
기존 HDFS 배치 방식의 광고 사용자 ID 매핑을 실시간으로 전환하면서, 개별 로그에 흩어진 ID를 연결하고 여러 애플리케이션이 함께 사용할 수 있는 구조를 만드는 것이 과제였습니다. ID를 그래프로 모델링하고 ID 타입 우선순위와 이벤트 시각을 활용하는 트리 알고리즘을 적용해 그룹 ID를 결정했습니다. 시스템은 Kafka로 모듈을 분리하고 Spark Structured Streaming과 gRPC 기반 ID 생성기를 연결했으며, ZooKeeper를 이용한 클라이언트 측 로드 밸런싱과 인메모리 DB 저장을 구성했습니다. 그 결과 ID 매핑 로직을 별도 컴포넌트로 관리해 새 ID 타입이나 참여 애플리케이션에 대응하기 쉬워졌고, 배치와 실시간 처리의 역할에 맞춰 Spark 트리거를 선택하는 설계의 중요성을 보여줬습니다.
- 사용자 ID를 노드로, 같은 이벤트 로그에 함께 등장한 ID를 엣지로 표현하면 ID 연결을 그래프 문제로 다룰 수 있습니다.
- ID 타입별 우선순위와 이벤트 시각을 기준으로 대표 노드를 선택해, 로그 유입 순서가 달라도 일관된 매핑을 유지합니다.
- gRPC 클라이언트 측 로드 밸런싱과 ZooKeeper의 임시 노드·와처를 이용해 서버 목록과 클러스터 멤버십을 관리합니다.
- Spark Structured Streaming에서 제공하지 않는 저장소 싱크는 `foreachBatch`와 `foreachPartition`으로 구현하고, 그룹핑으로 DB 부하를 조절할 수 있습니다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(5월)에서 발표되었던 세션을 공개합니다. ----- 이 세션에서는 실시간으로 광고 사용자 ID를 매핑하는 시스템에서 대해서 이야기합니다. gRPC, Spark Structured Streaming, Kafka 을 통해 마이크로서비스 아키텍처를 구축하는 법을 포함합니다. 사용자 ID를 그래프 구조로 맵핑하는 법을 포함합니다. [목차] 실시간 광고 사용자 ID 매핑 소개 해결과제 시스템 설계 ID 매핑 트리 알고리즘 gRPC 기반 ID 생성기 Spark Structured Streaming 애플리케이션 발전 방향 [강의 대상 및 직군] gRPC, Spark Structured Streaming 도입에 대해서 고민하시는 분들 마이크로서비스 아키텍처 구축에 관심이 있으신 분들 광고 사용자 ID 맵핑에 관심이 있으신 분들
비슷한 학습 자료
컨퍼런스 if kakao
AI 기반 광고 추천 시스템에서 스파크 스트리밍은 실시간 데이터 처리를 위한 핵심 구성 요소로 작동합니다. 이 파이프라인은 사용자 행동 데이터를 실시간으로 수집하고 처리하여 개인화된 광고를 추천하는 데 사용됩니다. 이번에 발표할 내용은 스파크 파이프라인 아키텍처와 스파크를 효과적으로 모니터링하기 위한 방법들을 소개합니다. #카프카 #스파크 #실시간_파이프라인 #빅데이터 광고추천팀에서 실시간 데이터 프로세싱과 서빙을 맡고 있는 Cory입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-23 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2024
TEAM NAVER CONFERENCE DAN 24 KEYNOTE 04 AI-Generated Value-driven Advertising: Providing Information that Users Need and Delivering Maximum ROI for Advertisers Introducing the direction of change and innovation that NAVER advertising platform will make based on AI technology - To view English subtitles, please select English in the subtitle settings. - Learn more about DAN 24: https://dan.naver.com
인공지능 기타 프로덕트 지표 · 실험
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (5)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Consumer Group Protocol v2를 소개합니다. [발표 대상] 조직에서 Kafka를 사용하거나 관심 있는 분들 Consumer Group Protocol 에 대해 관심 있는 분들 [목차] - Consumer Group Protocol (v1) 특징과 문제점 - Consumer Group Protocol (v2) 특징 - 장점 - 성능 - 사용법 - 설정 - 툴 - 마이그레이션
백엔드 네트워크
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스