[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기

소개

[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기 이 세션에서는 KREAM 데이터 플랫폼의 핵심 기반인 Lakehouse를 개발한 배경과 기술적 세부사항, 그리고 그로 인해 가능해진 변화들을 공유합니다. KREAM의 Lakehouse는 Kafka Ecosystem, Spark, Flink, Iceberg(HDFS), Hive Metastore, Trino, Airflow 등의 데이터 처리 기술을 활용하여 구축되었습니다. 메인 서비스 DB에서 실시간으로 발생하는 데이터와 하루 N억 건 이상의 유저 행동 데이터를 통합해, 데이터가 필요한 사내 모든 구성원들이 보다 빠르고 효율적으로 데이터를 획득·활용할 수 있게 되었습니다. Lakehouse를 개발하면서 겪은 고민과 경험들을 공유합니다. 목차 1. Lakehouse 도입 배경 2. Lakehouse 설계 & 기술 선택 3. Lakehouse 구성요소 & 데이터 파...