Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
카카오의 하둡 클러스터 규모와 운영 비용이 커지고 외부 솔루션에 의존해 기능 변경에 유연하게 대응하기 어려워지자, 자체 플랫폼 KHP를 개발했다. KHP는 배포판, Ansible 기반 설치·제어 도구, 호스트 메트릭 수집 에이전트, 로그 서비스, 관리 서버로 구성되며, Kafka·Druid·Grafana·Elasticsearch 등으로 모니터링과 로그 검색을 지원한다. 기존 클러스터는 바이너리 교체, HDFS 롤링 업그레이드, 복제 또는 단계적 이관 방식으로 옮겼고, 발표에서는 Hive·Ranger 유지보수와 대규모 Ansible 작업의 성능 개선 경험도 공유했다. 자체 플랫폼으로 전환하면 라이선스와 운영 비용을 줄이고 조직의 목표에 맞춰 변경할 수 있지만, 오픈소스 패치와 버전 호환성, 데이터·네트워크를 고려한 마이그레이션 역량이 필요하다는 점을 강조했다.
- 배포판은 컴포넌트별 단위 테스트와 개발 클러스터 통합 테스트를 거친 뒤 버전 태깅과 릴리즈 노트 작성으로 배포한다.
- Ansible 인벤토리와 YAML 변수 오버라이드를 조합하면 클러스터·호스트별 설정을 코드로 관리할 수 있다.
- HDFS 데이터 레이아웃 버전을 바꾸지 않는 바이너리 교체는 롤백이 비교적 쉽지만, 롤링 업그레이드는 실패 시 복구 제약을 고려해야 한다.
- 대규모 Ansible 작업에서는 `run_once`, `--limit`, 태그로 실행 범위를 줄이고, 오래 걸리는 작업은 외부 스크립트로 분리할 수 있다.
- 새 오픈소스 컴포넌트는 버전 호환성과 설치 사례를 먼저 확인하고, 테스트 실패나 업스트림 미반영 이슈를 직접 추적할 준비가 필요하다.
소개
카카오 자체 개발 하둡 플랫폼인 KHP(Kakao Hadoop Platform)를 소개합니다. 아키텍처를 중점적으로 설명하고 개발 및 마이그레이션, 운영하며 겪었던 경험들을 공유 드립니다. #Hadoop 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-62 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
InnoDBCluster for kakao / if(kakao)2022
컨퍼런스 if kakao
MySQL InnoDBCluster를 사용하여 MySQL DB 운영에 적용하는 내용에 대해서 설명합니다. 현재 카카오의 HA 적용 솔루션 InnoDBCluster를 고려하게 된 이유 InnoDBCluster 아키텍쳐 , 전환 계획 InnoDBCluster 운영 방법에 대한 내용에 대해 설명하려고 합니다. #Database #MySQL #InnoDBCluster 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-60 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
쿠버네티스 펀하고, 쿨하고, 섹시하게 / if(kakao)2022
컨퍼런스 if kakao
카카오 엔터프라이즈에서는 cluster api와 다양한 plugin을 이용하여, 개발자들에게 용도에 맞는 k8s를 제공하고 있습니다. 그리고 이 환경을 기반으로 모든 클라우드 배포 환경을 k8s를 이용하여 구현할 수 있었습니다. 카카오 엔터프라이즈에서 사용중인 선언적인 kubernetes as a service 개발 방법 공유! 이것이 선언적인 방법이니까! 음! #Kubernetes #ClusterAPI #Kubernetesasaservice 카카오엔터프라이즈에서 퍼블릭 클라우드 서비스를 개발하고 있는 벅과 곤잘레스 입니다. 카카오아이클라우드 최고에요~! 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-58 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #i...
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
카프카, 대규모 클러스터 운영 후기 / if(kakao)2022
컨퍼런스 if kakao
카프카는 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼으로 이제는 대다수 기업이 필수적으로 활용하는 오픈소스가 되었습니다. 카카오 전반적인 업무서비스에서 이용하는 카프카 공용 대규모 클러스터를 운영하면서 고려하고 진행했던 것에 대해 공유하고자 합니다. #Kafka #Infrastructure 카카오에서 시스템엔지니어링 업무를 담당하고 있으며, 전사 Kafka 클러스터를 관리하고 있는 데이비스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-66 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데브옵스 · 인프라