서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (3)
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
Kafka 클라이언트가 리더 브로커를 찾아 요청을 보내려면 브로커 목록과 토픽·파티션·리더 정보를 담은 메타데이터가 필요하며, 클라이언트는 부트스트래핑 후 브로커에서 이를 주기적으로 갱신합니다. 메타데이터 갱신 간격을 정하는 `metadata.max.age.ms`를 줄이면 오래된 리더 정보나 브로커 IP 변경으로 인한 연결 문제를 줄일 수 있고, 특히 브로커 IP가 바뀔 수 있는 Kubernetes 환경에서 유용합니다. Kafka 3.8부터는 연결 가능한 브로커가 모두 사라졌을 때 부트스트래핑을 다시 수행하는 메타데이터 복구 기능이 추가됐으며, 이후 버전에서 동작이 개선되고 기본값도 바뀌었습니다. 발표는 ZooKeeper와 컨트롤러에 상태가 중복 저장될 때 생길 수 있는 문제를 설명하고, 컨트롤러 쿼럼과 브로커의 풀 방식 메타데이터 동기화를 사용하는 KRaft가 이를 개선하는 방향이라고 짚습니다.
- bootstrap.servers에는 클러스터의 모든 브로커를 나열할 필요가 없으며, 연결 가능한 브로커 하나로도 초기 메타데이터를 받을 수 있습니다.
- 메타데이터 갱신 타임아웃이 발생하면 TCP 연결 여부뿐 아니라 인증·권한 등 보안 설정도 확인하세요.
- NotLeaderOrFollower 오류는 메타데이터가 오래된 상황에서 발생할 수 있으며, 클라이언트가 메타데이터를 갱신하고 재시도하므로 로그를 무조건 숨기지 않는 편이 좋습니다.
- Kafka 3.8 이상에서는 메타데이터 복구 설정으로 부트스트래핑을 다시 수행할 수 있으며, 재시도 간격 관련 옵션도 함께 살펴야 합니다.
- KRaft는 ZooKeeper 의존성을 없애고 컨트롤러 쿼럼과 브로커의 메타데이터 풀 방식으로 클러스터 상태를 관리합니다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka Client는 어떻게 클러스터의 전체 상태를 알 수 있는가? 서비스를 개발하는 입장에서 관련 옵션을 어떻게 잡아 주면 좋은가? 에 대해 설명합니다. [목차] * Kafka metadata란 무엇인가? * 동작 매커니즘 - 브로커 - 클라이언트 간 metadata 교환 - 브로커 간 metadata 교환 * 결론 - ... 그리고 하나 더
비슷한 학습 자료
컨퍼런스 당근 밋업
Kafka 뉴비의 마이그레이션, 산 넘고 물 건너 | 2024 당근 테크 밋업
컨퍼런스 if kakao
카프카, 대규모 클러스터 운영 후기 / if(kakao)2022
컨퍼런스 if kakao
카프카는 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼으로 이제는 대다수 기업이 필수적으로 활용하는 오픈소스가 되었습니다. 카카오 전반적인 업무서비스에서 이용하는 카프카 공용 대규모 클러스터를 운영하면서 고려하고 진행했던 것에 대해 공유하고자 합니다. #Kafka #Infrastructure 카카오에서 시스템엔지니어링 업무를 담당하고 있으며, 전사 Kafka 클러스터를 관리하고 있는 데이비스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-66 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (5)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Consumer Group Protocol v2를 소개합니다. [발표 대상] 조직에서 Kafka를 사용하거나 관심 있는 분들 Consumer Group Protocol 에 대해 관심 있는 분들 [목차] - Consumer Group Protocol (v1) 특징과 문제점 - Consumer Group Protocol (v2) 특징 - 장점 - 성능 - 사용법 - 설정 - 툴 - 마이그레이션
백엔드 네트워크
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (5)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Consumer Group Protocol v2를 소개합니다. [발표 대상] 조직에서 Kafka를 사용하거나 관심 있는 분들 Consumer Group Protocol 에 대해 관심 있는 분들 [목차] - Consumer Group Protocol (v1) 특징과 문제점 - Consumer Group Protocol (v2) 특징 - 장점 - 성능 - 사용법 - 설정 - 툴 - 마이그레이션
백엔드 네트워크
컨퍼런스 엔지니어링데이 2025
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (4)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY에서 발표되었던 세션을 공개합니다. 1,2편의 경우 아쉽게도 사내용만 발표되어 3,4편 만 외부공개가 진행되는 점 양해 부탁드립니다. [발표 내용] Kafka 프로듀서 최적화하기 + 압축 기능 활용하기 [목차] 1. 배경: Kafka 자료 구조 - Kafka 자료 구조는 어떻게 생겼는가? 2. 프로듀서 동작 방식 및 최적화 방법 - 프로듀서와 브로커는 어떻게 메시지를 주고받는가? - linger.ms, batch.size, buffer.memory 사용법 3. 압축 동작 방식 및 최적화 방법 - (재)압축은 어떻게 이루어지는가? - compression.type, compression.{type}.level 사용법
백엔드 네트워크 로드맵 1개에 담김
컨퍼런스 우아콘 2022
클라우드 환경에서의 Kafka 운영기 #우아콘2022 #Day2_음식그이상의것을문앞으로
컨퍼런스 우아콘 2022
Kafka는 이제 비동기 통신 환경을 구성하는 대표적인 시스템입니다. 우아한형제들의 많은 서비스들 역시 Kafka를 사용하고 있는데요, 우아한형제들의 클라우드플랫폼개발팀은 더욱 신뢰성 있는 Kafka 환경을 구성하고자 노력하고 있습니다. 이번 발표에서는 클라우드 환경에서 Kafka를 도입하고 운영하면서 겪었던 문제 상황과 이에 대해 고민했던 내용을 공유합니다. [발표자 소개] 김대호 | 클라우드플랫폼개발팀 Kafka 에코시스템을 이용해 안정적이고 가치 있는 비동기 통신 환경을 구성하는 것에 관심이 있습니다. Kafka 엔지니어지만 기술에 매몰되지 않고 효과적으로 가치를 만들어 내기 위해 노력하고 있습니다.
데브옵스 · 인프라 클라우드