서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (5)
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
클래식 Consumer Group Protocol은 컨슈머들이 단계별 리밸런스에 함께 참여하는 구조라, 느린 멤버가 있거나 파티션을 재할당할 때 그룹 전체 처리가 멈추는 문제가 있었습니다. Kafka 3.7에서 얼리 액세스로 시작해 4.0에서 GA가 된 Protocol v2는 파티션 할당 책임을 브로커로 옮기고, 에포크와 Consumer Group Heartbeat를 통해 컨슈머별로 할당 변경을 전달합니다. 이 방식은 동기화 장벽과 Stop-the-World 리밸런스를 없애고 느린 컨슈머의 영향을 제한하지만, 메시지 처리량 자체를 높이는 기능은 아닙니다. 사용하려면 클라이언트와 브로커 설정을 함께 조정해야 하며, 기존 그룹 마이그레이션은 버전별 지원 경로를 확인한 뒤 진행해야 합니다.
- 클래식 프로토콜에서는 모든 컨슈머가 리밸런스 단계에 참여하므로, 느린 멤버 하나가 그룹 전체의 복구를 지연시킬 수 있습니다.
- Cooperative 리밸런스는 변경이 필요한 파티션만 넘겨 중단을 줄이지만, 동기화 장벽 자체를 없애지는 않습니다.
- Consumer Group Protocol v2를 쓰려면 클라이언트의 `group.protocol`뿐 아니라 브로커의 지원 프로토콜과 할당 알고리즘 설정도 확인해야 합니다.
- 마이그레이션 전에는 클라이언트·브로커 버전별 지원 경로와 설정 변경 사항을 확인하고, 롤링 재시작 계획을 세우세요.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Consumer Group Protocol v2를 소개합니다. [발표 대상] 조직에서 Kafka를 사용하거나 관심 있는 분들 Consumer Group Protocol 에 대해 관심 있는 분들 [목차] - Consumer Group Protocol (v1) 특징과 문제점 - Consumer Group Protocol (v2) 특징 - 장점 - 성능 - 사용법 - 설정 - 툴 - 마이그레이션
비슷한 학습 자료
컨퍼런스 NDC
NDC 2018 [소잡는 칼 - Kafka를 이용한 비동기 메시지 시스템 구현 및 활용] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 지두현 2. 발표자 소개 : 라이엇게임즈 코리아에서 계정 및 보안 관련 개발을 담당하고 있습니다. 사용자 중심의 개발과 이를 뒷받침하기 위한 개발과 문화에 대한 공부를 하고 있고, 배운 것들을 실제 현장에 적용하기 위해 노력하고 있습니다. 2016년, 2017년 상반기 진행했던 프로젝트 경험을 토대로 개발의 주류가 되고 있는 마이크로서비스 아키텍쳐와 이를 반영하기 위한 팀의 노력에 대한 경험을 공유하고자 합니다. 특히 단순히 작은 서비스들의 연계가 아닌 Asynchronous한 메시지 중심의 아키텍쳐를 통해, 시스템 및 서비스의 확장성을 담보하기 위한 수단으로 한 예가 될 수 있을 것 같습니다. 3. 세션 소개 : 마이크로서비스 아키텍쳐가 최근 개발의 대세로 자리잡았습니다. 작은 ...
백엔드 데이터베이스 네트워크 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (5)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Consumer Group Protocol v2를 소개합니다. [발표 대상] 조직에서 Kafka를 사용하거나 관심 있는 분들 Consumer Group Protocol 에 대해 관심 있는 분들 [목차] - Consumer Group Protocol (v1) 특징과 문제점 - Consumer Group Protocol (v2) 특징 - 장점 - 성능 - 사용법 - 설정 - 툴 - 마이그레이션
백엔드 네트워크
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (4)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka 프로듀서 최적화하기 + 압축 기능 활용하기 [목차] 1. 배경: Kafka 자료 구조 - Kafka 자료 구조는 어떻게 생겼는가? 2. 프로듀서 동작 방식 및 최적화 방법 - 프로듀서와 브로커는 어떻게 메시지를 주고받는가? - linger.ms, batch.size, buffer.memory 사용법 3. 압축 동작 방식 및 최적화 방법 - (재)압축은 어떻게 이루어지는가? - compression.type, compression.{type}.level 사용법
백엔드 네트워크 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (3)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka Client는 어떻게 클러스터의 전체 상태를 알 수 있는가? 서비스를 개발하는 입장에서 관련 옵션을 어떻게 잡아 주면 좋은가? 에 대해 설명합니다. [목차] * Kafka metadata란 무엇인가? * 동작 매커니즘 - 브로커 - 클라이언트 간 metadata 교환 - 브로커 간 metadata 교환 * 결론 - ... 그리고 하나 더
백엔드 네트워크
컨퍼런스 우아콘 2022
클라우드 환경에서의 Kafka 운영기 #우아콘2022 #Day2_음식그이상의것을문앞으로
컨퍼런스 우아콘 2022
Kafka는 이제 비동기 통신 환경을 구성하는 대표적인 시스템입니다. 우아한형제들의 많은 서비스들 역시 Kafka를 사용하고 있는데요, 우아한형제들의 클라우드플랫폼개발팀은 더욱 신뢰성 있는 Kafka 환경을 구성하고자 노력하고 있습니다. 이번 발표에서는 클라우드 환경에서 Kafka를 도입하고 운영하면서 겪었던 문제 상황과 이에 대해 고민했던 내용을 공유합니다. [발표자 소개] 김대호 | 클라우드플랫폼개발팀 Kafka 에코시스템을 이용해 안정적이고 가치 있는 비동기 통신 환경을 구성하는 것에 관심이 있습니다. Kafka 엔지니어지만 기술에 매몰되지 않고 효과적으로 가치를 만들어 내기 위해 노력하고 있습니다.
데브옵스 · 인프라 클라우드