입수는 Datalake로! (feat. Iceberg)
조승완 토스 · 토스 기술 블로그
AI 핵심 요약
Kafka와 CDC 데이터를 처리하던 기존 파이프라인은 시간 단위 배치, Kudu 적재 지연, 파티션·스키마 변경의 복잡성, 수동 운영 부담을 안고 있었습니다. 토스 데이터 플랫폼팀은 Kafka Connect 기반 입수와 Iceberg를 도입해 준실시간 조회·수정, 스키마 및 파티션 진화, 트랜잭션 지원을 갖춘 데이터 레이크를 구축했습니다. 메타데이터 지표와 알림을 자동화하고 스냅샷·데이터 파일 정리 작업을 운영에 포함해, 약 천 개의 입수 파이프라인을 세 명이 관리하는 체계를 만들었습니다. 운영 경험을 통해 유지보수 작업의 실행 시점과 파티션 타입, 쓰기 분산 설정을 데이터 특성에 맞게 관리하는 것이 성능과 안정성에 중요하다고 설명합니다.
- 스냅샷이 누적되면 `expire_snapshots`와 `rewrite_manifests`로 메타데이터를 정리하고, 최근 스냅샷은 복구를 위해 보존하세요.
- `remove_orphan_files`는 쓰기 작업과 겹치면 파일을 잘못 제거할 수 있으므로 실행 시점을 신중히 잡아야 합니다.
- 대규모 테이블의 `write.distribution-mode`는 데이터 특성에 따라 `hash`와 `range`를 비교해 선택하고, 실제 환경에서 성능을 검증하세요.
- 파티션 프루닝을 활용하려면 파티션 컬럼과 쿼리 조건의 데이터 타입을 일치시켜야 합니다.
- CDC 테이블에서 삭제 파일을 정리할 때는 입수를 잠시 중단해 쓰기와 재작성 작업의 동시 실행을 피하는 편이 안전합니다.
소개
오늘은 데이터 효율성을 높이기 위해 도입한 ‘Iceberg’에 대해 이야기해 보려고 합니다. Iceberg의 기본적인 정보는 다른 곳에서도 쉽게 찾아볼 수 있지만, 저는 특히 유지보수와 운영 측면에 집중해서 이야기하려 합니다.
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기 이 세션에서는 KREAM 데이터 플랫폼의 핵심 기반인 Lakehouse를 개발한 배경과 기술적 세부사항, 그리고 그로 인해 가능해진 변화들을 공유합니다. KREAM의 Lakehouse는 Kafka Ecosystem, Spark, Flink, Iceberg(HDFS), Hive Metastore, Trino, Airflow 등의 데이터 처리 기술을 활용하여 구축되었습니다. 메인 서비스 DB에서 실시간으로 발생하는 데이터와 하루 N억 건 이상의 유저 행동 데이터를 통합해, 데이터가 필요한 사내 모든 구성원들이 보다 빠르고 효율적으로 데이터를 획득·활용할 수 있게 되었습니다. Lakehouse를 개발하면서 겪은 고민과 경험들을 공유합니다. 목차 1. Lakehouse 도입 배경 2. Lakehouse 설계 & 기술 선택 3. Lakehouse 구성요소 & 데이터 파...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
데이터베이스 데브옵스 · 인프라
컨퍼런스 SLASH
