입수는 Datalake로! (feat. Iceberg)

Kafka와 CDC 데이터를 처리하던 기존 파이프라인은 시간 단위 배치, Kudu 적재 지연, 파티션·스키마 변경의 복잡성, 수동 운영 부담을 안고 있었습니다. 토스 데이터 플랫폼팀은 Kafka Connect 기반 입수와 Iceberg를 도입해 준실시간 조회·수정, 스키마 및 파티션 진화, 트랜잭션 지원을 갖춘 데이터 레이크를 구축했습니다. 메타데이터 지표와 알림을 자동화하고 스냅샷·데이터 파일 정리 작업을 운영에 포함해, 약 천 개의 입수 파이프라인을 세 명이 관리하는 체계를 만들었습니다. 운영 경험을 통해 유지보수 작업의 실행 시점과 파티션 타입, 쓰기 분산 설정을 데이터 특성에 맞게 관리하는 것이 성능과 안정성에 중요하다고 설명합니다.

• 스냅샷이 누적되면 `expire_snapshots`와 `rewrite_manifests`로 메타데이터를 정리하고, 최근 스냅샷은 복구를 위해 보존하세요.
• `remove_orphan_files`는 쓰기 작업과 겹치면 파일을 잘못 제거할 수 있으므로 실행 시점을 신중히 잡아야 합니다.
• 대규모 테이블의 `write.distribution-mode`는 데이터 특성에 따라 `hash`와 `range`를 비교해 선택하고, 실제 환경에서 성능을 검증하세요.
• 파티션 프루닝을 활용하려면 파티션 컬럼과 쿼리 조건의 데이터 타입을 일치시켜야 합니다.
• CDC 테이블에서 삭제 파일을 정리할 때는 입수를 잠시 중단해 쓰기와 재작성 작업의 동시 실행을 피하는 편이 안전합니다.