100억 개 파일을 다루는 Data Lake를 위한 여정
if kakao 카카오 · YouTube
AI 핵심 요약
카카오는 100억 개 파일을 다루는 데이터 레이크를 위해 KHP v2를 구축하며, IDC 장애에도 데이터 가용성을 유지하고 HDFS의 네임노드 메타데이터 한계를 완화하는 과제를 해결했다. 세 IDC에 복제본을 분산하는 단일 클러스터 구조와 자체 블록 배치 정책을 적용했고, 아카이빙 데이터에는 7+5 이레이저 코딩을 도입해 저장 공간을 약 43% 절약했다. 파일 수 증가에 따른 네임노드 부하에는 HDFS Router-Based Federation(RBF)을 적용해 여러 네임 서비스를 가상 네임 서비스로 묶고, 사용자 설정 변경 없이 네임 서비스를 확장할 수 있게 했다. 다만 멀티마운트는 조회 성능과 운영 복잡도에 영향을 주므로 이를 관리할 자동화가 중요하며, 향후에는 외부 클라이언트의 IDC 인식과 Ozone·JuiceFS 등 스토리지 선택지 확대를 추진할 계획이다.
- HDFS를 여러 IDC에 분산할 때는 복제본 배치뿐 아니라 원격 쓰기 지연과 TCP 혼잡 제어에 따른 처리량 저하도 검증해야 한다.
- 아카이빙처럼 조회 빈도가 낮은 데이터에는 이레이저 코딩을 적용해 복제 방식보다 저장 공간을 절약할 수 있다.
- RBF의 멀티마운트 정책은 파일 배치와 조회 방식이 다르므로, 동적 확장 필요성과 읽기 성능 영향을 함께 고려해 선택한다.
- 멀티마운트가 늘면 조회 RPC가 증폭될 수 있어 마운트 테이블과 네임 서비스별 사용량을 지속적으로 관리해야 한다.
- 대규모 클러스터에서는 관리 복잡도가 커지므로 운영 자동화와 클라이언트 설정을 단순화하는 설계가 중요하다.
소개
if(kakao)25 100억 개 파일을 효율적으로 관리하기 위해 새롭게 구축된 KHP(Kakao Hadoop Platform) v2의 아키텍처와 함께, Kakao가 데이터 레이크를 구축하면서 겪었던 문제와 해결 방안을 공유합니다. #TECH #Data 빅데이터플랫폼 조직에서 하둡 기반 기술을 담당하고 있는 강민석(rex.tension)입니다. 편리하고 안정적인 대규모 클러스터를 구축하기 위해 항상 고민하고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=40 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내 다양한 서비스의 데이터를 한 곳으로 응집하기 위한 대규모 CDC 파이프라인을 구축한 사례를 소개합니다. Flink와 Kafka Connect를 통해 수십억 건의 데이터를 MySQL과 Iceberg 까지 연동하는 과정에서 맞닥뜨린 어려움과 해결 방안을 공유합니다. #Data #CDC #Debezium #Flink #Iceberg #Spark 카카오 전사 데이터 조직의 데이터 엔지니어 Dawn입니다. 카카오의 방대하고 다양한 데이터를 효율적으로 처리하는 대규모 CDC 파이프라인을 개발하고 있습니다. flink와 kafka를 활용하여 여러 시도를 하고 있는 Louis입니다. 요즘은 flink로 iceberg에 데이터를 적재하는 것에 집중하고 있어요. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-77 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오 자체 개발 하둡 플랫폼인 KHP(Kakao Hadoop Platform)를 소개합니다. 아키텍처를 중점적으로 설명하고 개발 및 마이그레이션, 운영하며 겪었던 경험들을 공유 드립니다. #Hadoop 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-62 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데브옵스 · 인프라 인공지능 기타
컨퍼런스 if kakao
수 천만 건 이상의 대량 배치처리를 하기 위한 최고의 노하우를 전달드리겠습니다. 카카오페이 정산플랫폼팀은 카카오페이의 빠른 성장과 더불어 늘어나는 데이터를 일괄처리하기 위하여 꾸준히 노력 하고 있습니다. 더 많은 데이터를 처리하기 위해 진화하는 서비스와 개발방식을 소개하고자 합니다. #BatchPerformance #SpringBatch #SpringCloudDataFlow #Kubernetes #Redis 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-065 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
생성부터 활용까지, 게임데이터 Flow 따라가기 / if(kakao)2022
컨퍼런스 if kakao
카카오게임즈의 모바일 게임 로그 데이터가 어떻게 생성되고 수집되는지, 이 수집된 데이터를 어떻게 처리하고 활용하는지에 대한 전체적인 과정을 소개합니다. #DataLake 카카오게임즈 BI팀 / DataLake TFT에서 ETL 및 데이터 엔지니어링 업무를 맡고 있는 kyle입니다 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-63 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 데브옵스 · 인프라