![[1015장애 회고] 1. 데이터센터 단위의 다중화를 위한 고민 / if(kakao)2022](https://i.ytimg.com/vi/K3Tf_ngC4pc/maxresdefault.jpg)
[1015장애 회고] 1. 데이터센터 단위의 다중화를 위한 고민 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
판교 데이터센터 화재로 서버 약 3분의 1의 전원이 꺼졌고, 데이터센터 간 다중화가 있었음에도 카카오톡과 로그인 등 여러 서비스의 복구가 지연됐다. 발표자는 원인을 인프라 설비, 데이터, 운영 도구, 서비스 플랫폼, 애플리케이션의 다섯 레이어로 나눠 살펴보고, 각 레이어의 다중화가 모두 제대로 동작해야 재난 상황에서 빠르게 복구할 수 있다고 설명했다. 데이터 유실은 없었지만 운영 도구의 다중화 부족이 복구 지연의 주요 원인이었고, 공용 플랫폼의 장애 전파와 애플리케이션의 복잡한 의존성도 개선 과제로 확인됐다. 사고 분석과 개선 과정을 업계와 공유하며 단기·장기 과제를 지속적으로 보완하겠다는 것이 핵심 교훈이다.
- 데이터센터 다중화는 물리 인프라뿐 아니라 데이터, 운영 도구, 공용 플랫폼, 애플리케이션까지 각 레이어별로 점검해야 한다.
- 운영·배포·모니터링 도구도 서비스 복구에 필수적이므로 데이터센터 장애를 견딜 수 있도록 다중화해야 한다.
- 공용 플랫폼은 여러 서비스가 의존하므로 장애가 연쇄적으로 전파되는 경로와 병목을 분석해야 한다.
- 애플리케이션의 복구를 위해서는 시스템 간 의존성, 트래픽 전환, 실시간 동기화가 함께 고려되어야 한다.
소개
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그리고 이 영상은 "1. 데이터센터 단위의 다중화를 위한 고민"부분으로, 이번 화재 사고 개요 및 인터넷/모바일 서비스를 위한 시스템 구성 등에 대한 개요를 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3....
비슷한 학습 자료
컨퍼런스 if kakao
1015 장애원인 분석 / if(kakao)2022
컨퍼런스 if kakao
[1015장애 회고] 2. 인프라 설비 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그 중 이 발표는 데이터센터 및 네트웍 중심의 인프라 설비 레이어 다중화에 대해 집중적으로 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 레이어 다중화 4. 서비스 플랫폼 레이어 다중화 5. 애플리케이...
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
[1015장애 회고] 3. 데이터 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 카카오는 데이터를 RDBMS군, NOSQL,빅데이터 클러스터이렇게 세 가지의 카테고리로 구분하여 관리하고 있으며 이 데이터레이어의 다중화에 대해 설명드리는 영상입니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
[1015장애 회고] 4. 서비스 플랫폼 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오가 사용하는 서비스 플랫폼 레이어에 대한 다중화를 설명드립니다. 이 서비스 플랫폼 레이어애는 카카오내에서 사용하는 운영관리도구 / 클라우드 / Redis, ES, Kafka 와 같은 오픈소스기반의 플랫폼 등이 포함됩니다. 1. 데이터센터 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
[1015장애 회고] 5. 애플리케이션 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오의 서비스의 사용자 접점인 서비스 애플리케이션 레이어에 대한 다중화를 설명드립니다. 서비스를 위한 컴포넌트 구성 및 소프트웨어가 여기에 해당합니다. 애플리케이션에서 전략적으로 이중화를 구성하고, 의존성을 관리해 설계를 하고, 트래픽을 잘 관리하...
백엔드 데브옵스 · 인프라
컨퍼런스 if kakao
Day1 Keynote / if(kakao)2022
컨퍼런스 if kakao
ifkakaodev2022 컨퍼런스 Day1 Streaming 를 소개합니다. [ Keynote ] 1. Our Social Mission 남궁훈 (nkay.play) / 비상대책위원회 재발방지대책 공동 소위원장 2. 1015 장애원인 분석 이확영 Grepp CEO / 비상대책위원회 원인조사 소위원장 3. 달라지는 카카오 1) 재발방지를 위한 기술적 개선 이채영 (ean.lee) / 비상대책위원회 재발방지대책소위원회 부위원장 2) 미래투자와 혁신 계획 고우찬 (gilbert.c) / 비상대책위원회 재발방지대책 공동 소위원장 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022