Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
거래 리포트는 15개 안팎의 디멘션과 다양한 지표를 조합해 조회하고, 마스터 데이터 변경과 최대 7주간의 과거 집계까지 빠르게 반영해야 했다. 이를 위해 Kafka 데이터를 Spark Structured Streaming으로 처리해 10분 단위로 집계한 뒤 Iceberg에 저장하고, StarRocks의 외부 카탈로그와 화면별 Materialized View로 조회 경로를 구성했다. Iceberg 메타데이터 캐시와 주기적 뷰 리프레시를 적용해 최신성과 응답 속도를 함께 고려했으며, 마스터 데이터 변경도 뷰 갱신 과정에서 과거 집계에 반영하도록 했다. 그 결과 발표에서 대시보드 쿼리의 90%가 1초 미만으로 응답한다고 보고했으며, 다양한 필터 조합을 지원하려면 조회 패턴에 맞춘 사전 집계와 저장 설계가 중요하다는 점을 보여줬다.
- 대시보드 화면별로 Iceberg 집계 테이블과 StarRocks Materialized View를 구성하면 다양한 조회 패턴에 맞춰 성능을 최적화할 수 있다.
- Spark Structured Streaming의 윈도우·워터마크 설정과 정적 데이터 캐시를 활용해 지연 데이터와 마스터 데이터 조인을 다룬다.
- Iceberg 파티션 설계와 append 중심 쓰기는 스캔 범위를 줄이는 데 중요하며, 스냅샷 기능은 롤백과 타임 트래블에도 활용할 수 있다.
- Materialized View의 리프레시 주기와 보존 기간을 요구사항에 맞추고, 마스터 데이터 변경이 과거 집계에 반영되는지 확인해야 한다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
늘어가는 조회트래픽 Elasticsearch로 분산시키기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
실시간 광고 사용자 ID 매핑
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(5월)에서 발표되었던 세션을 공개합니다. ----- 이 세션에서는 실시간으로 광고 사용자 ID를 매핑하는 시스템에서 대해서 이야기합니다. gRPC, Spark Structured Streaming, Kafka 을 통해 마이크로서비스 아키텍처를 구축하는 법을 포함합니다. 사용자 ID를 그래프 구조로 맵핑하는 법을 포함합니다. [목차] 실시간 광고 사용자 ID 매핑 소개 해결과제 시스템 설계 ID 매핑 트리 알고리즘 gRPC 기반 ID 생성기 Spark Structured Streaming 애플리케이션 발전 방향 [강의 대상 및 직군] gRPC, Spark Structured Streaming 도입에 대해서 고민하시는 분들 마이크로서비스 아키텍처 구축에 관심이 있으신 분들 광고 사용자 ID 맵핑에 관심이 있으신 분들
백엔드 데이터베이스 네트워크
컨퍼런스 엔지니어링데이 2025
