![[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기](https://i.ytimg.com/vi/3hCtd0J2EjQ/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기
DAN 2025 네이버 · YouTube
AI 핵심 요약
KREAM은 데이터 증가와 일일 덤프의 지연, 제한된 보관 기간, 분리된 데이터 소스 때문에 최신 데이터를 빠르게 분석하고 재처리하기 어려웠습니다. 이를 개선하기 위해 HDFS와 Apache Iceberg를 저장 계층으로 삼고, Debezium·Kafka·Spark로 DB 변경 데이터를, Flink·Kafka·Spark로 사용자 행동 로그를 수집·처리하는 Lakehouse를 구축했습니다. Hive Metastore와 Schema Registry로 메타데이터와 스키마 변경을 관리하고, Trino와 Airflow를 통해 조회 및 데이터 마트 생성을 지원했습니다. 발표에서는 준실시간 데이터 동기화와 쿼리 성능 개선, 사내 데이터 활용 확대를 소개했으며, 운영 안정성을 위해 쿼리 관리·거버넌스·데이터 검색 기능을 보완할 계획이라고 밝혔습니다.
- 스토리지와 컴퓨팅을 분리하고, 데이터 증가에 따라 처리 자원을 확장할 수 있는 구조를 선택하세요.
- Apache Iceberg의 파티션 진화와 브랜치 기능은 초기 설계의 불확실성을 줄이고 대량 데이터 전환을 검증하는 데 유용합니다.
- CDC와 행동 로그 파이프라인은 데이터 특성에 맞춰 Debezium·Spark와 Flink를 조합하고, 스키마 레지스트리로 변경을 관리할 수 있습니다.
- JSON 문자열을 구조화된 타입으로 저장하면 불필요한 메모리 사용과 조회 비용을 줄일 수 있습니다.
- 데이터 마트 생성은 YAML과 SQL 중심의 인터페이스로 제공해 분석가가 오케스트레이션 코드를 직접 작성하지 않도록 설계할 수 있습니다.
소개
[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기 이 세션에서는 KREAM 데이터 플랫폼의 핵심 기반인 Lakehouse를 개발한 배경과 기술적 세부사항, 그리고 그로 인해 가능해진 변화들을 공유합니다. KREAM의 Lakehouse는 Kafka Ecosystem, Spark, Flink, Iceberg(HDFS), Hive Metastore, Trino, Airflow 등의 데이터 처리 기술을 활용하여 구축되었습니다. 메인 서비스 DB에서 실시간으로 발생하는 데이터와 하루 N억 건 이상의 유저 행동 데이터를 통합해, 데이터가 필요한 사내 모든 구성원들이 보다 빠르고 효율적으로 데이터를 획득·활용할 수 있게 되었습니다. Lakehouse를 개발하면서 겪은 고민과 경험들을 공유합니다. 목차 1. Lakehouse 도입 배경 2. Lakehouse 설계 & 기술 선택 3. Lakehouse 구성요소 & 데이터 파...
비슷한 학습 자료
컨퍼런스 NDC
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
100억 개 파일을 다루는 Data Lake를 위한 여정
컨퍼런스 if kakao
if(kakao)25 100억 개 파일을 효율적으로 관리하기 위해 새롭게 구축된 KHP(Kakao Hadoop Platform) v2의 아키텍처와 함께, Kakao가 데이터 레이크를 구축하면서 겪었던 문제와 해결 방안을 공유합니다. #TECH #Data 빅데이터플랫폼 조직에서 하둡 기반 기술을 담당하고 있는 강민석(rex.tension)입니다. 편리하고 안정적인 대규모 클러스터를 구축하기 위해 항상 고민하고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=40 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 대화형 AI로 바꾼 데이터 협업: 데이터 활용의 장벽을 없애다
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 대화형 AI로 바꾼 데이터 협업: 데이터 활용의 장벽을 없애다 대화형 AI로 바뀐 데이터 협업 데이터는 많지만, 이를 쉽게 활용하거나 협업하는 것은 여전히 어렵습니다. 지표 조회나 단순 데이터 확인조차 반복적으로 요청해야 했고, SQL 의존으로 인해 데이터 활용은 전문가 중심에 머물러 있었습니다. KeplerChat은 이러한 장벽을 허물고, 데이터 협업 방식을 바꾸며 데이터 활용의 평등한 접근을 실현하기 위해 탄생했습니다. 주요 기능 데이터 탐색: - 자연어로 지표 검색, 스키마 확인(DataHub), - 데이터 기반 정보와 히스토리 파악을 통해 지식을 습득하고 활용 데이터 쿼리 작성: SQL 자동 생성 및 수정 데이터 실행 및 분석: 실시간 쿼리 실행 결과 제공, 주요 인사이트 도출 및 시각화 대시보드 해석 및 차트 기반 분석: 내부 BI(Metabase) 연동으로 수치와 시각화를 자동 해석하고 분석 지원 데이터 과제 인입 자동화: ...
데이터베이스 인공지능 기타
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 하루 수백억 건을 처리하는 똑똑한 로그 파이프라인 만들기: 비용·성능·안정성 삼박자 네이버 전사 로그(최대 초당 수백만건, 하루 수백억건의 로그)를 수집/처리하는 로그 파이프라인 Logiss를 소개하고, Logiss에서 겪은 문제점들과 해결책들을 공유합니다. Storm + kafka 환경에서 multi topology를 적용하는 방법과 이를 통해 안정적인 무중단 배포가 가능해진 파이프라인과 지능형 파이프라인의 도입으로 낮시간의 피크 트래픽을 한가한 시간으로 분산시킨 방법, 장애 상황에서 로그의 우선 순위에 따른 차등된 처리 방식, 샘플링 기능으로 저장소를 효율적으로 이용할 수 있게된 방법을 알려드립니다. 목차 1. Logiss 시스템 소개 - Storm, Kafka, Logstash, OpenSearch로 구성된 파이프라인 아키텍처 - 네이버 서비스 전반에서 발생하는 로그를 수집, 하루 수백억 건의 로그를 실시간 처리...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] IDC Seamless HDFS: IDC의 한계를 넘어 도달한 데이터 통합의 세계 이 세션에서는 기존에 여러 IDC에서 HDFS 시스템을 운영하며 마주했던 문제들과 고군분투 끝에 찾아낸 해결책을 공유합니다. 데이터 엔지니어링 작업 시 발생하는 읽기(Read), 쓰기(Write) 트래픽의 특징과 이를 Storage 레벨에서 어떻게 기술적으로 대응했는지 설명합니다. 이 기술을 통해 사용자들은 기존에는 불가능하다고 생각했던 타 IDC의 데이터 분석과 자동화된 재해 복구(Diaster Recovery)에 대응할 수 있게 됩니다. 또한, 운영자 측면에서는 스토리지 사용량을 절감하고 트래픽을 효율적으로 제어하여 장애를 미리 방지하는 노하우도 얻으실 수 있습니다. 이번 세션을 통해 여러분의 HDFS 시스템 운영과 데이터 엔지니어링에 새로운 영감을 얻어가시길 바랍니다 목차 1. 문제 제기: IDC에 흩어진 데이터와 그로 인한 한계 - 사내 Had...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
데이터베이스 데브옵스 · 인프라