카프카, Kraft를 만나다: 주키퍼 없이 운영하는 카프카의 실전 운영 노하우 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
주키퍼와 카프카 사이의 메타데이터 전달 지연과 컨트롤러 장애 대응 부담을 줄이기 위해, 카카오 인프라팀은 Kafka 3.7~3.8 기반 KRaft 클러스터를 개발 환경부터 검증해 실서비스에 적용했습니다. 주키퍼 대신 Raft 기반 컨트롤러와 `__cluster_metadata` 로그·스냅샷으로 메타데이터를 관리해 장애 후 복구를 빠르게 하고, 컨트롤러와 브로커를 분리해 운영했습니다. 부하·네트워크 단절·브로커 장애 테스트와 `Trogdor` 벤치마크를 거쳐 설정을 조정했으며, 파티션 분산과 압축 설정이 안정성과 성능에 큰 영향을 준다는 점을 확인했습니다. KRaft 전환은 버전별 버그와 업그레이드 위험을 고려해 단계적으로 진행하고, 설정값은 각 환경에서 직접 측정해 최적화해야 한다고 강조했습니다.
- KRaft 컨트롤러는 우선 3대로 구성하고, 브로커와 역할을 분리해 부하가 컨트롤러에 영향을 주지 않도록 합니다.
- KRaft에서는 노드별 클러스터 ID와 저장소 포맷을 관리해야 하므로 초기 설치나 데이터 영역 변경 시 `kafka-storage` 절차를 확인합니다.
- 네트워크 단절 중에는 프로세스가 살아 있어 리더 선거와 에포크가 반복될 수 있으므로, 전원 차단과 네트워크 장애를 구분해 검증합니다.
- 파티션이 특정 브로커에 몰리면 복구 시간이 크게 늘 수 있어 균등 배치와 모니터링이 중요합니다.
- 압축과 프로듀서 설정은 기본값을 그대로 적용하기보다 실제 메시지와 부하를 사용해 벤치마크하고, 브로커·프로듀서의 압축 타입을 맞춥니다.
소개
카프카는 주키퍼 기반의 코디네이션 대신 Kafka Raft(Kraft)를 지원하게 되면서 한 단계 진화하였습니다. Kraft Mode의 장점과 구성 및 발전 단계에서 습득한 노하우에 대해 공유합니다. #카프카 #Kafka #Kraft #DevOps #Infra #DataPlatform 시스템엔지니어를 거쳐 현재는 Kafka, Elasticsearch, Redis, RabbitMQ 등의 다양한 플랫폼을 운영하고 있는 Davis입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-76 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
Kubernetes 지능형 리소스 최적화 / if(kakaoAI)2024
컨퍼런스 if kakao
"쿠버네티스 클러스터에 구성된 서비스의 리소스를 어떻게 관리하고 계신가요?" 에서 비롯된 지능형 리소스 최적화 시스템 구축 프로젝트 과정을 소개합니다. 이 영상을 통해 효율적 리소스 관리를 통한 비용절감 방법을 공유합니다. #Kubernetes #리소스최적화 #finops 카카오페이증권 DevOps팀 Steve입니다. 카카오페이증권 서비스들을 위한 플랫폼 구축 및 운영, 표준화를 담당하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-74 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
판교 Data Center 화재 이후, 카카오의 Kubernetes 구조를 개선한 경험과 이를 구현하면서 겪었던 다양한 문제와 고민에 대해 이야기합니다. Data Center 화재 시, 실제 Kubernetes에 발생했던 여러 문제를 공유하고, 고가용성 Kubernetes 클러스터를 제공하기 위한 설계 아이디어를 공유합니다. 또한 고가용성을 위해 고민했던 etcd, CNI Plugin에 대해서도 소개합니다. #cloud #kubernetes #cni 카카오의 Kubernetes as a Service를 개발하고 있는 Gyu입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-71 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
카카오 서비스들은 어떻게 CI/CD 를 하는가? / if(kakaoAI)2024
컨퍼런스 if kakao
수 천개의 쿠버네티스 멀티 클러스터 위에서 동작하는 카카오의 서비스들이 어떻게 CI/CD를 하는 지를 설명하고, GitOps, MSA 등의 개발 철학을 지키면서 클라우드 전환 이후 생긴 문제들을 해결하기 위한 CI/CD Pipeline 플랫폼 설계에 필요했던 고민을 공유하려 합니다. 또한 외부 솔루션 사용에 대한 고민, 자체 서비스 구축을 통한 비용 절감에, 두 번의 리팩토링을 통해 얻은 교훈들 그리고 시간을 돌려 다시 만든다면 어떤 부분을 다르게 할 것인지에 대한 생각도 함께 전합니다. #cloud #CI/CD 카카오 클라우드 컴퓨팅에서 CI/CD 플랫폼을 개발 운영하고 있는 Peny입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-70 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오i를 통한 AIOT 서비스의 사례와 미래 / if(kakaoAI)2024
컨퍼런스 if kakao
모든 요소기술들을 아우를 수 있는 미래 먹거리로써 사물인터넷에 연결되는 스마트 디바이스와 클라우드 플랫폼, 그리고 서비스에 인공지능이 접목된 지능화된 사물인터넷(Artificial Intelligence of Things, AIoT)이 부각되는 시대. 사람과 사물이 경계없이 연결하기 위한 카카오i의 AIOT플랫폼의 구조와 현재, 방향, 고민에 대해 공유합니다. #AIoT 디케이테크인의 AI공통플랫폼팀에서 kakaoi 대화형플랫폼 개발을 하고 있는 Ramsy와 Tristan입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-2 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
인공지능 기타 네트워크
컨퍼런스 if kakao
카프카, 대규모 클러스터 운영 후기 / if(kakao)2022
컨퍼런스 if kakao
카프카는 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼으로 이제는 대다수 기업이 필수적으로 활용하는 오픈소스가 되었습니다. 카카오 전반적인 업무서비스에서 이용하는 카프카 공용 대규모 클러스터를 운영하면서 고려하고 진행했던 것에 대해 공유하고자 합니다. #Kafka #Infrastructure 카카오에서 시스템엔지니어링 업무를 담당하고 있으며, 전사 Kafka 클러스터를 관리하고 있는 데이비스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-66 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데브옵스 · 인프라