![[1015장애 회고] 2. 인프라 설비 레이어 다중화 / if(kakao)2022](https://i.ytimg.com/vi/gMZqYq-kMd4/maxresdefault.jpg)
[1015장애 회고] 2. 인프라 설비 레이어 다중화 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
판교 데이터센터 화재로 전원 공급이 불안정해지면서 네트워크 장비와 서버가 통신 불능 상태가 됐고, 전원 복구 뒤에도 일부 장비는 수동 조치가 필요했습니다. 발표에서는 배터리실의 화재가 UPS와 전원 설비에 미치는 영향을 줄이기 위해 배터리실 분산, UPS와의 물리적 분리, 추가 소화 설비와 조기 감지 체계를 제안했습니다. 네트워크는 다중화와 동적 라우팅, GSLB를 통해 다른 센터로의 우회가 동작했지만, 운영 도구와 로그 저장소도 장애 영향을 받아 데이터센터 간 이중화가 필요하다는 점을 확인했습니다. 향후 백본 센터와 센터 간 전송망을 확장하고, 운영 플랫폼과 GSLB 관리 체계까지 다중화해 장애 대응과 서비스 전환을 강화할 계획을 공유했습니다.
- 배터리 화재가 UPS와 전원 설비 전체로 번지지 않도록 배터리실을 구역별로 분산하고 UPS와 물리적으로 분리해야 합니다.
- 열·연기·가스 감지에 더해 CCTV 영상의 섬광 감지와 자동화재 속보기를 활용하면 화재 탐지와 소방서 신고를 앞당길 수 있습니다.
- 네트워크 경로의 자동 우회만으로는 충분하지 않으며, NMS·로그 저장소·운영 포털도 데이터센터 간 이중화가 필요합니다.
- GSLB 전환을 방해할 수 있는 애플리케이션의 도메인 캐싱 설정을 점검하고, 장애 시 서비스 이동에 맞춰 설정을 갱신해야 합니다.
소개
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그 중 이 발표는 데이터센터 및 네트웍 중심의 인프라 설비 레이어 다중화에 대해 집중적으로 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 레이어 다중화 4. 서비스 플랫폼 레이어 다중화 5. 애플리케이...
비슷한 학습 자료
컨퍼런스 if kakao
1015 장애원인 분석 / if(kakao)2022
컨퍼런스 if kakao
[1015장애 회고] 1. 데이터센터 단위의 다중화를 위한 고민 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그리고 이 영상은 "1. 데이터센터 단위의 다중화를 위한 고민"부분으로, 이번 화재 사고 개요 및 인터넷/모바일 서비스를 위한 시스템 구성 등에 대한 개요를 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3....
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
[1015장애 회고] 3. 데이터 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 카카오는 데이터를 RDBMS군, NOSQL,빅데이터 클러스터이렇게 세 가지의 카테고리로 구분하여 관리하고 있으며 이 데이터레이어의 다중화에 대해 설명드리는 영상입니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
[1015장애 회고] 4. 서비스 플랫폼 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오가 사용하는 서비스 플랫폼 레이어에 대한 다중화를 설명드립니다. 이 서비스 플랫폼 레이어애는 카카오내에서 사용하는 운영관리도구 / 클라우드 / Redis, ES, Kafka 와 같은 오픈소스기반의 플랫폼 등이 포함됩니다. 1. 데이터센터 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
[1015장애 회고] 5. 애플리케이션 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오의 서비스의 사용자 접점인 서비스 애플리케이션 레이어에 대한 다중화를 설명드립니다. 서비스를 위한 컴포넌트 구성 및 소프트웨어가 여기에 해당합니다. 애플리케이션에서 전략적으로 이중화를 구성하고, 의존성을 관리해 설계를 하고, 트래픽을 잘 관리하...
백엔드 데브옵스 · 인프라
컨퍼런스 if kakao
Day1 Keynote / if(kakao)2022
컨퍼런스 if kakao
ifkakaodev2022 컨퍼런스 Day1 Streaming 를 소개합니다. [ Keynote ] 1. Our Social Mission 남궁훈 (nkay.play) / 비상대책위원회 재발방지대책 공동 소위원장 2. 1015 장애원인 분석 이확영 Grepp CEO / 비상대책위원회 원인조사 소위원장 3. 달라지는 카카오 1) 재발방지를 위한 기술적 개선 이채영 (ean.lee) / 비상대책위원회 재발방지대책소위원회 부위원장 2) 미래투자와 혁신 계획 고우찬 (gilbert.c) / 비상대책위원회 재발방지대책 공동 소위원장 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022