Kafka 뉴비의 마이그레이션, 산 넘고 물 건너 | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근은 여러 서비스가 함께 쓰는 레거시 Kafka 클러스터의 운영 부담을 줄이기 위해 신규 클러스터를 만들었지만, 팀마다 클라이언트를 직접 바꾸는 방식으로는 마이그레이션이 더뎠다. 클라이언트 변경을 최소화하고 점진적으로 전환하기 위해 Kafka 프로토콜을 처리하는 와이어 프록시를 개발하고, 클라이언트 ID 기반 라우팅으로 클러스터 선택을 중앙에서 제어했다. 메시지와 오프셋 복제에는 MirrorMaker 2를 사용하고, 토픽 이름 변경과 오프셋 동기화가 함께 이뤄지도록 커스텀 ReplicationPolicy를 구현해 Strimzi Kafka Operator에서 운영했다. 컨슈머를 먼저, 프로듀서를 다음에 전환하는 무중단 절차를 마련했으며, 전환 중 중복 처리와 메시지 순서 보장 여부를 사전에 확인해야 한다는 점을 공유했다.
- 클라이언트 언어와 SDK가 다양할 때는 각 클라이언트에 기능을 구현하기보다 Kafka 프로토콜을 활용한 공통 프록시를 고려할 수 있다.
- 클라이언트 ID를 라우팅 키로 사용하면 서비스별 클라이언트를 한꺼번에 바꾸지 않고 점진적으로 클러스터를 전환할 수 있다.
- MirrorMaker 2는 메시지뿐 아니라 오프셋 동기화도 지원하지만, 토픽 이름을 바꿀 때는 체크포인트의 토픽·파티션 정보까지 함께 변환해야 한다.
- 무중단 전환 중에는 양쪽 클러스터에서 중복 메시지나 순서 변경이 생길 수 있으므로, 소비자의 중복 처리와 메시지 순서 보장 여부를 먼저 확인해야 한다.
소개
어느 날, 카프카 뉴비가 마주한 회사 전체 카프카 마이그레이션 도전! 레거시 카프카에서 신규 카프카로 클러스터의 장소투명성을 유지하면서 점진적 마이그레이션을 진행할 수 있을까!? 사용자와 운영자, 모두가 행복한 마이그레이션을 수행한 경험에 대해 소개해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 NDC
NDC 2018 [소잡는 칼 - Kafka를 이용한 비동기 메시지 시스템 구현 및 활용] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 지두현 2. 발표자 소개 : 라이엇게임즈 코리아에서 계정 및 보안 관련 개발을 담당하고 있습니다. 사용자 중심의 개발과 이를 뒷받침하기 위한 개발과 문화에 대한 공부를 하고 있고, 배운 것들을 실제 현장에 적용하기 위해 노력하고 있습니다. 2016년, 2017년 상반기 진행했던 프로젝트 경험을 토대로 개발의 주류가 되고 있는 마이크로서비스 아키텍쳐와 이를 반영하기 위한 팀의 노력에 대한 경험을 공유하고자 합니다. 특히 단순히 작은 서비스들의 연계가 아닌 Asynchronous한 메시지 중심의 아키텍쳐를 통해, 시스템 및 서비스의 확장성을 담보하기 위한 수단으로 한 예가 될 수 있을 것 같습니다. 3. 세션 소개 : 마이크로서비스 아키텍쳐가 최근 개발의 대세로 자리잡았습니다. 작은 ...
백엔드 데이터베이스 네트워크 로드맵 1개에 담김
컨퍼런스 if kakao
카프카는 주키퍼 기반의 코디네이션 대신 Kafka Raft(Kraft)를 지원하게 되면서 한 단계 진화하였습니다. Kraft Mode의 장점과 구성 및 발전 단계에서 습득한 노하우에 대해 공유합니다. #카프카 #Kafka #Kraft #DevOps #Infra #DataPlatform 시스템엔지니어를 거쳐 현재는 Kafka, Elasticsearch, Redis, RabbitMQ 등의 다양한 플랫폼을 운영하고 있는 Davis입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-76 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라
컨퍼런스 if kakao
카프카, 대규모 클러스터 운영 후기 / if(kakao)2022
컨퍼런스 if kakao
카프카는 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼으로 이제는 대다수 기업이 필수적으로 활용하는 오픈소스가 되었습니다. 카카오 전반적인 업무서비스에서 이용하는 카프카 공용 대규모 클러스터를 운영하면서 고려하고 진행했던 것에 대해 공유하고자 합니다. #Kafka #Infrastructure 카카오에서 시스템엔지니어링 업무를 담당하고 있으며, 전사 Kafka 클러스터를 관리하고 있는 데이비스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-66 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (4)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka 프로듀서 최적화하기 + 압축 기능 활용하기 [목차] 1. 배경: Kafka 자료 구조 - Kafka 자료 구조는 어떻게 생겼는가? 2. 프로듀서 동작 방식 및 최적화 방법 - 프로듀서와 브로커는 어떻게 메시지를 주고받는가? - linger.ms, batch.size, buffer.memory 사용법 3. 압축 동작 방식 및 최적화 방법 - (재)압축은 어떻게 이루어지는가? - compression.type, compression.{type}.level 사용법
백엔드 네트워크 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (3)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka Client는 어떻게 클러스터의 전체 상태를 알 수 있는가? 서비스를 개발하는 입장에서 관련 옵션을 어떻게 잡아 주면 좋은가? 에 대해 설명합니다. [목차] * Kafka metadata란 무엇인가? * 동작 매커니즘 - 브로커 - 클라이언트 간 metadata 교환 - 브로커 간 metadata 교환 * 결론 - ... 그리고 하나 더
백엔드 네트워크
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Platform Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 엔지니어 동료들이 더 빠르게, 더 큰 문제에 집중할 수 있도록 당근의 플랫폼은 끊임없이 발전해요. 다양한 기술과 아키텍처를 여러 서비스가 함께 쓰는 플랫폼으로 만드는 과정부터 AI와 함께 일하는 새로운 방식까지, 당근 플랫폼 개발자들이 현장에서 마주한 고민과 시행착오를 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
데이터베이스