카카오의 Kubernetes가 Data Center 화재를 견디는 방법 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
판교 데이터센터 화재 때 카카오의 멀티 클러스터 구조에서는 워크로드 배포 누락과 복구 과정의 잡 충돌이 발생해, 데이터센터 장애를 자동으로 견디기 어려웠습니다. 이를 줄이기 위해 여러 클러스터에 같은 서비스를 배포하는 방식에서 단일 클러스터가 여러 존에 걸쳐 동작하는 구조로 전환하고, etcd의 크로스존 트래픽을 표본 측정해 네트워크 수용성을 검토했습니다. 데이터 플레인의 지연을 낮추기 위해 Cilium의 IPVS 프록시 경로를 풀 eBPF 방식으로 바꾸었으며, 터널 디바이스의 캡슐화 해제 순서 문제는 eBPF 코드로 처리했습니다. 이후 데이터센터 전원 차단 시뮬레이션으로 서비스와 클러스터 동작을 확인했고, 고가용성 설계에는 아키텍처뿐 아니라 배포·복구 과정의 사람 실수와 네트워크 경로까지 고려해야 한다는 점을 얻었습니다.
- 멀티 클러스터는 장애 격리에 유리하지만, 클러스터마다 워크로드를 배포해야 해 누락과 운영 부담이 커질 수 있습니다.
- etcd의 크로스존 트래픽은 리더의 통신량을 측정하고, DB 크기별로 클러스터를 층화 표본 추출해 추정했습니다.
- Cilium의 프록시 경로를 IPVS와 함께 쓰는 방식에서 풀 eBPF로 바꿔 패킷 처리 단계를 줄였습니다.
- 터널 디바이스를 사용하는 경우 eBPF 훅의 실행 순서와 캡슐화 해제 시점을 확인해야 합니다.
소개
판교 Data Center 화재 이후, 카카오의 Kubernetes 구조를 개선한 경험과 이를 구현하면서 겪었던 다양한 문제와 고민에 대해 이야기합니다. Data Center 화재 시, 실제 Kubernetes에 발생했던 여러 문제를 공유하고, 고가용성 Kubernetes 클러스터를 제공하기 위한 설계 아이디어를 공유합니다. 또한 고가용성을 위해 고민했던 etcd, CNI Plugin에 대해서도 소개합니다. #cloud #kubernetes #cni 카카오의 Kubernetes as a Service를 개발하고 있는 Gyu입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-71 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
Kubernetes 지능형 리소스 최적화 / if(kakaoAI)2024
컨퍼런스 if kakao
"쿠버네티스 클러스터에 구성된 서비스의 리소스를 어떻게 관리하고 계신가요?" 에서 비롯된 지능형 리소스 최적화 시스템 구축 프로젝트 과정을 소개합니다. 이 영상을 통해 효율적 리소스 관리를 통한 비용절감 방법을 공유합니다. #Kubernetes #리소스최적화 #finops 카카오페이증권 DevOps팀 Steve입니다. 카카오페이증권 서비스들을 위한 플랫폼 구축 및 운영, 표준화를 담당하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-74 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
은행의 세밀한 내부 통제 환경에서 인프라 리소스를 최적화하고, 효율적으로 관리하기 위해 On-premise Kubernetes 아키텍처를 구축했습니다. 클러스터 프로비저닝 과정부터 망 분리 환경에서의 네트워크 통제 및 운영 정책 관리 방법을 소개합니다. #인프라 #리소스최적화 #온프렘 #쿠버네티스 #아키텍처 #망분리 카카오뱅크에서 On-Premise Kubernetes 엔지니어링을 담당하고 있는 Robin입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-72 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
카카오 서비스들은 어떻게 CI/CD 를 하는가? / if(kakaoAI)2024
컨퍼런스 if kakao
수 천개의 쿠버네티스 멀티 클러스터 위에서 동작하는 카카오의 서비스들이 어떻게 CI/CD를 하는 지를 설명하고, GitOps, MSA 등의 개발 철학을 지키면서 클라우드 전환 이후 생긴 문제들을 해결하기 위한 CI/CD Pipeline 플랫폼 설계에 필요했던 고민을 공유하려 합니다. 또한 외부 솔루션 사용에 대한 고민, 자체 서비스 구축을 통한 비용 절감에, 두 번의 리팩토링을 통해 얻은 교훈들 그리고 시간을 돌려 다시 만든다면 어떤 부분을 다르게 할 것인지에 대한 생각도 함께 전합니다. #cloud #CI/CD 카카오 클라우드 컴퓨팅에서 CI/CD 플랫폼을 개발 운영하고 있는 Peny입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-70 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라
컨퍼런스 if kakao
네트워크 인프라에서 Kubernetes 서비스 네트워킹 지원하기 / if(kakao)2022
컨퍼런스 if kakao
카카오 인프라 제공자 관점에서 Kubernetes 서비스 네트워킹을 지원하는 방법과 변화 과정을 소개합니다. #Infrastructure #Networking #Kubernetes 카카오에서 로드 밸런싱 서비스를 운영하며 개발하고 있는 알란입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-53 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
Preview Cloud @if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 Cloud 관련 기술 발표 트랙을 소개합니다. 04:17 1. Kubernetes provisioning: 프로비저닝 툴과의 만남부터 헤어짐까지... by 전민철(rookie.jeon) 카카오에서 클라우드 플랫폼을 개발하고 있는 루키입니다. 04:43 2. Testing Kubernetes Controller: Kubernetes Controller를 위한 테스트코드 작성 by 이완해(scotty.scott) 카카오에서 클라우드 플랫폼을 개발하고 있는 스카티입니다. Human Computer Interaction (HCI) 에 관심이 많으며, 일하면서 틈틈히 개발자를 위한 HCI 라는 주제에 대해 생각해보고 있습니다. 하지만 이번발표에서는 순수하게 개발적인 내용만 다룹니다. 05:01 3. 카카오가 K8s CNI Cilium의 메모리 누수 버그를 해결하는 방법 by 배규태(gyu.gyu) 카카오에서 클라우드 플랫폼을 개발하고 있는 규입니...
소프트웨어 테스트 데브옵스 · 인프라
컨퍼런스 if kakao
카프카, 대규모 클러스터 운영 후기 / if(kakao)2022
컨퍼런스 if kakao
카프카는 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼으로 이제는 대다수 기업이 필수적으로 활용하는 오픈소스가 되었습니다. 카카오 전반적인 업무서비스에서 이용하는 카프카 공용 대규모 클러스터를 운영하면서 고려하고 진행했던 것에 대해 공유하고자 합니다. #Kafka #Infrastructure 카카오에서 시스템엔지니어링 업무를 담당하고 있으며, 전사 Kafka 클러스터를 관리하고 있는 데이비스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-66 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데브옵스 · 인프라