![[NDC22-프로그래밍] 쿠키런: 킹덤, 총 56시간의 긴급 점검 회고](https://i.ytimg.com/vi/AZbCZ2KOcwU/maxresdefault.jpg)
[NDC22-프로그래밍] 쿠키런: 킹덤, 총 56시간의 긴급 점검 회고
NDC 넥슨 · YouTube
AI 핵심 요약
쿠키런: 킹덤 출시 직후 이용자 증가로 CockroachDB 스토리지가 빠르게 늘던 중, 설정 변경으로 클러스터가 읽기를 거부해 36시간 넘는 긴급 점검이 발생했다. 팀은 CockroachDB의 스토리지 데이터를 추출하고 오픈소스 코드를 수정해 바이너리 내보내기를 가속했으며, 대규모 AWS 인스턴스를 활용해 새 클러스터로 데이터를 옮기고 정합성을 검증했다. 이후 AWS 도쿄 리전 데이터센터의 냉각 장애로 복제본 일부가 손실되자, 살아 있는 복제본과 커스텀 복구 도구를 이용해 데이터를 복원하고 약 20시간 만에 서비스를 재개했다. 두 장애를 통해 데이터 분산 배치와 복구 기능의 사전 검증, 인프라 작업의 동료 검토, 역할이 명확한 협업 체계가 중요하다는 교훈을 얻었다.
- CockroachDB의 분산 복제 구조에서는 데이터가 디스크에 남아 있어도 레인지 복제본의 과반수를 잃으면 읽기와 트랜잭션이 중단될 수 있다.
- 복구 경로가 막혔을 때는 데이터베이스의 스토리지 레이어와 오픈소스 코드를 살펴 대안을 찾고, 커스텀 도구를 만들 수 있다.
- 대규모 데이터 복구에는 컴퓨팅 자원뿐 아니라 데이터 정합성을 확인할 절차와 검증 기준도 미리 준비해야 한다.
- 인프라 변경은 긴급한 작업이라도 화면 공유와 동료 검토를 거치도록 프로세스를 정하고, 장애 대응 역할과 진행 상황을 공유한다.
- 낮은 확률의 장애에도 대비해 장애 도메인을 분리하고, CockroachDB의 복구·복제 기능을 실제 운영 환경에서 점검한다.
소개
● 설문조사: https://ko.surveymonkey.com/r/S7J3Q6V ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로그래밍 ● 발표자: 데브시스터즈 이창원, 박새미 / DEVSISTERS Changwon Lee, Saemi Park ● 권장 대상: 서버 엔지니어, 데브옵스 엔지니어 ● 키워드: #쿠키런킹덤 #포스트모템 #CockroachDB
비슷한 학습 자료
컨퍼런스 NDC
[NDC25-IP] '쿠키런:킹덤', 제 2의 전성기
컨퍼런스 NDC
↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로그래밍 ● 발표자: 넥슨게임즈 장성재 ● 키워드: #NDC25 #게임서버개발 #GameServerDevelopment 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
백엔드 데브옵스 · 인프라
컨퍼런스 NDC
● 설문조사: https://forms.gle/HQDNExZhWVYNjZUH7 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로덕션&운영 ● 발표자: 데브시스터즈 조길현/이은지 ● 권장 대상: 〈쿠키런: 킹덤〉에 관심이 있는 분들이라면 누구나 ● 키워드: #쿠키런킹덤 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
컨퍼런스 NDC
● 설문조사: https://forms.gle/ZmmrH6TEtZ3567aW8 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로그래밍 ● 발표자: 데브시스터즈 권태국 ● 권장 대상: 서버 엔지니어 ● 키워드: #쿠키런킹덤 #서버아키텍처 #이벤트소싱 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
백엔드 데이터베이스
컨퍼런스 NDC
[NDC] '쿠키런: 오븐브레이크' 이유있는 차트 역주행
컨퍼런스 NDC
NDC 2018 ['쿠키런: 오븐브레이크' 이유있는 차트 역주행] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 배형욱 2. 발표자 소개 : 현재 데브시스터즈에서 쿠키런: 오븐브레이크 프로젝트의 프로듀서이며, 출시전까지는 해당 프로젝트의 클라이언트 개발자였습니다. 현재는 서비스에 필요한 모든 일들을 해나가고 있습니다. 외국계 기업/국내 대기업/스타트업 창업 등을 겪으며 언제나 새로운 도전을 만들고 달성해나가는 것을 즐깁니다. 3. 세션 소개 : 기본적으로 이 세션은 쿠키런: 오븐브레이크를 1년 넘게 운영하면서 팀이 경험한 것에 대한 내용을 공유하는 세션입니다. 크게는 라이브 서비스를 운영하면서 맞이하는 중요한 의사 결정들에 관한 저희만의 기준 및 해법을 공유할까 합니다. 이 외에도 서비스가 어려워지는 상황에서의 팀 빌딩, 데이터 분석, 팀의 목표 설정 등 쿠키런: 오븐브레이크가 1년동안 변화한 과정들에서 있었던 다...
프로덕트 매니지먼트 프로덕트 지표 · 실험