![[1015장애 회고] 4. 서비스 플랫폼 레이어 다중화 / if(kakao)2022](https://i.ytimg.com/vi/fLe87ZTtFLg/maxresdefault.jpg)
[1015장애 회고] 4. 서비스 플랫폼 레이어 다중화 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
판교 데이터센터 화재로 운영관리 도구와 클라우드, Redis·Elasticsearch·Kafka 등 서비스 플랫폼이 함께 영향을 받으면서, 플랫폼 자체의 이중화뿐 아니라 인증·저장소·관리 도구의 의존성까지 복구를 지연시킬 수 있음을 확인했습니다. 카카오는 운영 도구와 클라우드 API를 데이터센터 간에 분산하고, 일부 저장소의 복제 수준을 높이며, 주요 API를 액티브-액티브로 전환하는 등 다중화와 복구 구조를 보완하고 있습니다. Redis의 대체 구성, Elasticsearch 마스터 노드와 Kafka 주키퍼의 3개 데이터센터 분산, 관리·모니터링 도구의 이중화도 개선 과제로 제시했습니다. 장애를 견디려면 서비스 중요도와 데이터 특성을 파악하고, 실제 장애 시나리오 훈련으로 전환 절차와 예외 대응을 검증해야 한다는 점이 핵심 교훈입니다.
- 액티브-스탠바이 구성만으로는 데이터센터 전체 장애를 견디기 어려우므로, 장애 범위와 복구 목표에 맞춰 액티브-액티브나 3개 데이터센터 분산을 검토해야 합니다.
- 정족수 기반 클러스터는 노드를 두 곳에만 나누면 한쪽 데이터센터 장애로 과반을 잃을 수 있어, 세 곳에 분산하는 구성이 필요합니다.
- 플랫폼뿐 아니라 인증·배포·모니터링·관리 도구와 그 도구가 의존하는 저장소도 복구 경로에 포함해 다중화해야 합니다.
- 플랫폼을 사용하는 서비스의 중요도와 데이터 보존 특성을 기록하고 갱신해야 장애 시 복구 순서를 빠르게 정할 수 있습니다.
- 장애 대응 절차는 문서화에 그치지 말고 실제 전환 훈련으로 예외 상황과 담당자 간 협업을 점검해야 합니다.
소개
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오가 사용하는 서비스 플랫폼 레이어에 대한 다중화를 설명드립니다. 이 서비스 플랫폼 레이어애는 카카오내에서 사용하는 운영관리도구 / 클라우드 / Redis, ES, Kafka 와 같은 오픈소스기반의 플랫폼 등이 포함됩니다. 1. 데이터센터 ...
비슷한 학습 자료
컨퍼런스 if kakao
1015 장애원인 분석 / if(kakao)2022
컨퍼런스 if kakao
[1015장애 회고] 1. 데이터센터 단위의 다중화를 위한 고민 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그리고 이 영상은 "1. 데이터센터 단위의 다중화를 위한 고민"부분으로, 이번 화재 사고 개요 및 인터넷/모바일 서비스를 위한 시스템 구성 등에 대한 개요를 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3....
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
[1015장애 회고] 2. 인프라 설비 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그 중 이 발표는 데이터센터 및 네트웍 중심의 인프라 설비 레이어 다중화에 대해 집중적으로 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 레이어 다중화 4. 서비스 플랫폼 레이어 다중화 5. 애플리케이...
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
[1015장애 회고] 3. 데이터 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 카카오는 데이터를 RDBMS군, NOSQL,빅데이터 클러스터이렇게 세 가지의 카테고리로 구분하여 관리하고 있으며 이 데이터레이어의 다중화에 대해 설명드리는 영상입니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
[1015장애 회고] 5. 애플리케이션 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오의 서비스의 사용자 접점인 서비스 애플리케이션 레이어에 대한 다중화를 설명드립니다. 서비스를 위한 컴포넌트 구성 및 소프트웨어가 여기에 해당합니다. 애플리케이션에서 전략적으로 이중화를 구성하고, 의존성을 관리해 설계를 하고, 트래픽을 잘 관리하...
백엔드 데브옵스 · 인프라
컨퍼런스 if kakao
Day1 Keynote / if(kakao)2022
컨퍼런스 if kakao
ifkakaodev2022 컨퍼런스 Day1 Streaming 를 소개합니다. [ Keynote ] 1. Our Social Mission 남궁훈 (nkay.play) / 비상대책위원회 재발방지대책 공동 소위원장 2. 1015 장애원인 분석 이확영 Grepp CEO / 비상대책위원회 원인조사 소위원장 3. 달라지는 카카오 1) 재발방지를 위한 기술적 개선 이채영 (ean.lee) / 비상대책위원회 재발방지대책소위원회 부위원장 2) 미래투자와 혁신 계획 고우찬 (gilbert.c) / 비상대책위원회 재발방지대책 공동 소위원장 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022