네이버 스케일로 카프카 컨슈머 사용하기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
컨테이너 환경에서는 파드 재시작이나 일시적인 하트비트 지연으로 카프카 컨슈머 리밸런스가 자주 발생하고, 클라우드의 가용 영역 간 트래픽 비용도 커질 수 있습니다. 발표자는 정적 그룹 멤버십과 팔로워 레플리카 읽기 같은 카프카 기능을 설명하고, 네이버의 대규모 사내 환경에 맞춰 컨슈머와 파티션의 랙 위치를 반영하는 커스텀 파티션 어사이너를 개발했습니다. 이 어사이너는 컨슈머의 위치 정보를 그룹 리더에 전달해 리더 레플리카를 우선 배정하고, 이어 팔로워와 남은 파티션을 분배하도록 구성했습니다. 랙 정보를 고려한 할당은 네트워크 비용을 줄일 가능성이 있지만, 발표 당시 대규모 검증과 카프카의 보편적인 지원은 아직 진행 중이었습니다.
- 컨슈머 그룹은 파티션을 컨슈머에 중복이나 누락 없이 배정하며, 구성 변화가 생기면 리밸런스로 할당을 조정합니다.
- max.poll.interval.ms는 레코드 처리와 다음 poll 사이의 허용 시간이고, session.timeout.ms는 하트비트가 끊긴 컨슈머를 감지하는 기준입니다.
- 컨테이너 재시작으로 불필요한 리밸런스가 잦다면 정적 그룹 멤버십의 group.instance.id를 검토할 수 있습니다.
- session.timeout.ms는 기본값에만 의존하지 말고 파드의 실제 재시작·초기화 시간에 맞춰 설정해야 합니다.
- 랙 정보를 활용한 할당은 리더·팔로워 레플리카와 컨슈머의 위치를 고려해 네트워크 비용을 줄이는 방향으로 설계할 수 있습니다.
소개
[DEVIEW 2023] * 발표자 : 이동진(NAVER Platform Labs) * 발표제목 : 네이버 스케일로 카프카 컨슈머 사용하기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 if kakao
카프카는 주키퍼 기반의 코디네이션 대신 Kafka Raft(Kraft)를 지원하게 되면서 한 단계 진화하였습니다. Kraft Mode의 장점과 구성 및 발전 단계에서 습득한 노하우에 대해 공유합니다. #카프카 #Kafka #Kraft #DevOps #Infra #DataPlatform 시스템엔지니어를 거쳐 현재는 Kafka, Elasticsearch, Redis, RabbitMQ 등의 다양한 플랫폼을 운영하고 있는 Davis입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-76 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라
컨퍼런스 if kakao
신뢰성 있는 카프카 애플리케이션을 만드는 3가지 방법 (최원영 Cory)
컨퍼런스 if kakao
[2023.09.14. 제3회 Kakao Tech Meet 발표] 이벤트 드리븐 아키텍처와 스트림 데이터 파이프라인을 만들때 고민해야 하는 부분을 다룹니다. 프로듀서/컨슈머와 같은 카프카 애플리케이션의 전달 신뢰도를 높이기 위해서 적용할 수 있는 기술들에 대해 설명하고 내부적으로 적용했던 경험을 공유합니다. 발표자: 최원영(Cory) 안녕하세요! 광고추천팀 cory입니다. 저서로는 『아파치 카프카 애플리케이션 프로그래밍 with 자바』가 있고, 최근에는 『실시간 데이터 파이프라인 아키텍처』를 번역하였습니다. 개발 기술 및 문화 공유에 도움이 되고자 데브원영 블로그와 유튜브를 운영하고 있습니다. 🔥 데브원영 블로그: https://blog.voidmainvoid.net/ 🔥 데브원영 유튜브: https://www.youtube.com/@DevWonYoung 💬 발표자 인터뷰와 비하인드 보러가기: https://tech.kakao.com/2023/09/22/techmeet...
백엔드 데이터베이스
컨퍼런스 DEVIEW 2023
눈으로 보며 듣는 음성 기록, 클로바노트 서비스의 웹 기술 톺아보기
컨퍼런스 DEVIEW 2023
LiveOps : 네이버앱의 실시간 운영과 크래시 핸들링 솔루션
컨퍼런스 DEVIEW 2023
DEVIEW 2023 - 키노트 영상
컨퍼런스 엔지니어링데이 2025