대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
카카오의 여러 서비스 데이터베이스를 분석용으로 모으면서 민감 정보 보호, 대규모 초기 적재, 데이터 정합성, 운영 중 스키마 변경을 해결해야 했다. MySQL 변경 로그를 Flink CDC로 읽어 Kafka에 보내고 Kafka Connect JDBC 싱크로 타깃에 적재했으며, 병렬 증분 스냅샷과 체크포인트 복구, 해싱·마스킹, 커스텀 SMT를 적용했다. Spark로 소스와 타깃의 정합성을 주기적으로 검사하고, Iceberg를 도입해 전체 MySQL 덤프와 소스 DB 부하를 줄였으며 컴팩션으로 조회 성능을 관리했다. 샤딩 테이블을 하나의 Iceberg 테이블로 합치는 방안은 성능상 이점이 있었지만 커밋 동시성 문제가 있어 적용하지 않았고, 성능뿐 아니라 안정성을 기준으로 운영 설계를 결정해야 한다고 설명했다.
- 대규모 초기 적재에는 청크를 병렬 처리하는 Flink CDC 증분 스냅샷을 활용하면 스냅샷 시간을 줄일 수 있다.
- 민감 정보는 타깃으로 보내기 전에 해싱하거나 마스킹하고, 스키마 변경은 감지·알림 후 검토해 반영하는 흐름을 둔다.
- JDBC 싱크의 업서트와 벌크 인서트 설정을 조정하고, SMT로 메시지 형식과 타깃 테이블명을 변환할 수 있다.
- Iceberg의 데이터 파일과 삭제 파일이 누적되면 조회가 느려지므로 주기적인 컴팩션과 파일 정리가 필요하다.
- 샤딩 테이블 통합처럼 처리 효율을 높이는 설계도 커밋 동시성 등 운영 안정성을 검증한 뒤 적용해야 한다.
소개
카카오 내 다양한 서비스의 데이터를 한 곳으로 응집하기 위한 대규모 CDC 파이프라인을 구축한 사례를 소개합니다. Flink와 Kafka Connect를 통해 수십억 건의 데이터를 MySQL과 Iceberg 까지 연동하는 과정에서 맞닥뜨린 어려움과 해결 방안을 공유합니다. #Data #CDC #Debezium #Flink #Iceberg #Spark 카카오 전사 데이터 조직의 데이터 엔지니어 Dawn입니다. 카카오의 방대하고 다양한 데이터를 효율적으로 처리하는 대규모 CDC 파이프라인을 개발하고 있습니다. flink와 kafka를 활용하여 여러 시도를 하고 있는 Louis입니다. 요즘은 flink로 iceberg에 데이터를 적재하는 것에 집중하고 있어요. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-77 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발...
비슷한 학습 자료
컨퍼런스 if kakao
100억 개 파일을 다루는 Data Lake를 위한 여정
컨퍼런스 if kakao
if(kakao)25 100억 개 파일을 효율적으로 관리하기 위해 새롭게 구축된 KHP(Kakao Hadoop Platform) v2의 아키텍처와 함께, Kakao가 데이터 레이크를 구축하면서 겪었던 문제와 해결 방안을 공유합니다. #TECH #Data 빅데이터플랫폼 조직에서 하둡 기반 기술을 담당하고 있는 강민석(rex.tension)입니다. 편리하고 안정적인 대규모 클러스터를 구축하기 위해 항상 고민하고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=40 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
판교 Data Center 화재 이후, 카카오의 Kubernetes 구조를 개선한 경험과 이를 구현하면서 겪었던 다양한 문제와 고민에 대해 이야기합니다. Data Center 화재 시, 실제 Kubernetes에 발생했던 여러 문제를 공유하고, 고가용성 Kubernetes 클러스터를 제공하기 위한 설계 아이디어를 공유합니다. 또한 고가용성을 위해 고민했던 etcd, CNI Plugin에 대해서도 소개합니다. #cloud #kubernetes #cni 카카오의 Kubernetes as a Service를 개발하고 있는 Gyu입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-71 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
카프카, 대규모 클러스터 운영 후기 / if(kakao)2022
컨퍼런스 if kakao
카프카는 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼으로 이제는 대다수 기업이 필수적으로 활용하는 오픈소스가 되었습니다. 카카오 전반적인 업무서비스에서 이용하는 카프카 공용 대규모 클러스터를 운영하면서 고려하고 진행했던 것에 대해 공유하고자 합니다. #Kafka #Infrastructure 카카오에서 시스템엔지니어링 업무를 담당하고 있으며, 전사 Kafka 클러스터를 관리하고 있는 데이비스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-66 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데브옵스 · 인프라