![[1015장애 회고] 3. 데이터 레이어 다중화 / if(kakao)2022](https://i.ytimg.com/vi/Vq2Ip1HPi4Y/maxresdefault.jpg)
[1015장애 회고] 3. 데이터 레이어 다중화 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
판교 데이터센터 화재 회고에서 카카오 데이터 플랫폼팀은 RDBMS, MongoDB 기반 NoSQL, 빅데이터 클러스터의 다중화 상태와 복구 과정의 취약점을 점검했습니다. 일부 DB는 IDC 간 노드 분산이 부족했고, 장애 전환 시 DR 노드가 서비스와 분석·백업 작업을 함께 처리하기 어려웠으며, HA 기동에 필요한 내부 시스템과 백업 스토리지에도 공백이 있었습니다. 이를 개선하기 위해 세 곳의 IDC에 걸친 데이터 분산과 가상 장비 용량 확보, 내부 시스템·백업 스토리지의 IDC별 구성, DR 노드 성능 향상을 추진하고 있습니다. 빅데이터 영역은 Druid와 일부 클러스터의 이중화를 확대하고, HBase는 쓰기 동기화로 복구 부담을 줄이는 방향을 제시했습니다.
- 다중화는 노드 수뿐 아니라 IDC 간 분산 여부까지 확인해야 한 곳의 장애가 전체 복제본에 영향을 주지 않습니다.
- 장애 전환용 노드는 서비스 트래픽을 감당할 성능을 갖추고, 분석·백업 작업을 병행할 여력도 확보해야 합니다.
- DBMS의 HA 구성만으로는 충분하지 않으며, 전환을 실행하는 내부 시스템과 백업 스토리지도 함께 다중화해야 합니다.
- 복제 클러스터를 마련하는 데 그치지 말고, 장애 후 복구 과정과 데이터 동기화 방식까지 점검해야 합니다.
소개
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 카카오는 데이터를 RDBMS군, NOSQL,빅데이터 클러스터이렇게 세 가지의 카테고리로 구분하여 관리하고 있으며 이 데이터레이어의 다중화에 대해 설명드리는 영상입니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 ...
비슷한 학습 자료
컨퍼런스 if kakao
1015 장애원인 분석 / if(kakao)2022
컨퍼런스 if kakao
[1015장애 회고] 1. 데이터센터 단위의 다중화를 위한 고민 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그리고 이 영상은 "1. 데이터센터 단위의 다중화를 위한 고민"부분으로, 이번 화재 사고 개요 및 인터넷/모바일 서비스를 위한 시스템 구성 등에 대한 개요를 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3....
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
[1015장애 회고] 2. 인프라 설비 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 그 중 이 발표는 데이터센터 및 네트웍 중심의 인프라 설비 레이어 다중화에 대해 집중적으로 설명드립니다. 1. 데이터센터 단위의 다중화를 위한 고민 2. 인프라 설비 레이어 다중화 3. 데이터 레이어 다중화 4. 서비스 플랫폼 레이어 다중화 5. 애플리케이...
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
[1015장애 회고] 4. 서비스 플랫폼 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오가 사용하는 서비스 플랫폼 레이어에 대한 다중화를 설명드립니다. 이 서비스 플랫폼 레이어애는 카카오내에서 사용하는 운영관리도구 / 클라우드 / Redis, ES, Kafka 와 같은 오픈소스기반의 플랫폼 등이 포함됩니다. 1. 데이터센터 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
[1015장애 회고] 5. 애플리케이션 레이어 다중화 / if(kakao)2022
컨퍼런스 if kakao
지난 10월 15일, 카카오가 사용하고 있던 SKC&C 판교 데이터센터에 화재가 났습니다. 이로 인해 카카오 전체 서버의 1/3의 전원이 꺼지면서 서비스에 장시간 장애가 발생하여, 이용자분들에게 많은 불편을 드렸습니다. 그 후 카카오는 '데이터센터 단위로 어떻게 다중화를 해야 이번과 같은 화재시에도 장애를 최소화 할 수 있는지' 광범위하고 깊은 원인 분석을 했고, 해결책을 고민하고 오늘도 계속 보완/실행해가고 있습니다. 이번 이프카카오에서 '1015 회고' 트랙을 통해, 각 시스템 레이어별로 어떻게 다중화할지 그 방안을 상세히 공유드리고자 합니다. '1015 회고' 트랙은 다음과 같이 총 5개의 발표로 구성하였습니다. 이 영상은 카카오의 서비스의 사용자 접점인 서비스 애플리케이션 레이어에 대한 다중화를 설명드립니다. 서비스를 위한 컴포넌트 구성 및 소프트웨어가 여기에 해당합니다. 애플리케이션에서 전략적으로 이중화를 구성하고, 의존성을 관리해 설계를 하고, 트래픽을 잘 관리하...
백엔드 데브옵스 · 인프라
컨퍼런스 if kakao
Day1 Keynote / if(kakao)2022
컨퍼런스 if kakao
ifkakaodev2022 컨퍼런스 Day1 Streaming 를 소개합니다. [ Keynote ] 1. Our Social Mission 남궁훈 (nkay.play) / 비상대책위원회 재발방지대책 공동 소위원장 2. 1015 장애원인 분석 이확영 Grepp CEO / 비상대책위원회 원인조사 소위원장 3. 달라지는 카카오 1) 재발방지를 위한 기술적 개선 이채영 (ean.lee) / 비상대책위원회 재발방지대책소위원회 부위원장 2) 미래투자와 혁신 계획 고우찬 (gilbert.c) / 비상대책위원회 재발방지대책 공동 소위원장 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022