장애 같은데? 일단 STOP!: 배달서비스 장애 감지/차단 시스템 구축 경험담 #우아콘2024 #우아한형제들
우아콘 2024 우아한형제들 · YouTube
AI 핵심 요약
배달 데이터 생성이나 상태 전환에 문제가 생기면 담당자의 인지와 판단, 공지에 시간이 걸려 고객 영향이 커지는 문제가 있었다. 이를 줄이기 위해 실시간 주문 데이터를 프로세스별로 적합·부적합으로 분류하고, 부적합 건수가 빠르고 연속적으로 증가하는 상황을 감지해 주문 유입을 조절하고 담당자에게 알리는 시스템을 구축했다. 과거 장애와 월드컵 같은 이벤트 사례를 시뮬레이션해 기준을 검증했으며, 실제 외부 시스템 장애에서 감지부터 조치까지 1분 이내에 처리했다. 이후 자동 조치가 오래 유지되면 주문 유실이 생길 수 있음을 확인해 Opsgenie 호출, 판단 지표와 대시보드를 보강하고 운영 정책을 계속 조정했다.
- 장애 자체를 자동 판정하기보다 고객 영향이 커질 수 있는 이상 상황을 감지하고, 장애 여부는 담당자가 판단하도록 역할을 나눴다.
- 주문량이 많은 이벤트나 기상 악화 같은 정상 변동과 장애를 구분하려면 과거 사례를 비교해 감지 기준을 시뮬레이션해야 한다.
- 자동 선조치가 주문 유실로 이어질 수 있으므로, 조치 후 담당자가 빠르게 인지하고 복구할 호출 체계와 대시보드를 함께 마련한다.
- 감지 기준과 운영 정책은 고정된 답이 아니므로, 리포팅과 어드민 기능을 통해 지속적으로 검토하고 조정할 수 있게 한다.
소개
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 장애상황을 어떻게 대응하고 계시나요? 어디서 장애가 발생했는지, 어떻게 해결할지 고민하면서 멘탈이 바사삭 했던 경험이 있진 않으신가요? 실시간 주문 데이터를 활용하여 신속히 배달 서비스 장애 감지하고 차단하는 시스템을 구축했던 경험담을 소개합니다. ㅤ 👉 발표자 소개ㅤ 김지언, PM 천은정, PM
비슷한 학습 자료
컨퍼런스 우아콘 2024
WOOWACON2024오프닝노트 #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 배달의 민족은 전국 식당들의 메뉴와 주문 뿐만아니라 커머스 대형 셀러들과 연동하여 실시간 배달 서비스를 제공하고 있습니다. 제공하는 서비스에서 발생하는 하루 평균 200억 건의 데이터가 흘러가는 시스템을 안정적으로 구축하고 운영한 사례를 공유드립니다. 1부: 시스템 아키텍처 편 대용량 데이터 처리 시스템을 도입하는 과정에서의 고민과 적용한 기술 그리고 아키텍처를 설명합니다. 2부: 음식 배달, 물건 배달 서비스 구축 편 데이터 정합성과 재처리 복원 등을 고려한 가장 안정적이고 지속가능한 시스템 구조를 만들기 위한 고민과 해결사례를 공유합니다. ㅤ 👉 발표자 소개ㅤ 김민중, 서버 개발자 장재주, 서버 개발자 윤보민, 서버 개발자 김병화, 서버 개발자
백엔드 데이터베이스
컨퍼런스 우아콘 2024
운영 안정성을 기술적으로 지키는 방법(이그나이트) #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 이그나이트는 하나의 주제로 3~5명의 발표자가 5분간 빠르게 발표를 진행하는 방식의 세션입니다. 참여형으로 진행된 이그나이트 세션에서는, 우아한형제들 소속 발표자와 타소속 발표자가 함께 참여하였습니다. '운영 안정성을 기술적으로 지키는 방법' 세션에서는 QA, 배포 파이프라인 구성 등 기술을 활용해 어떻게 '운영 안정성'을 지키고 있는지 경험담을 공유합니다. 👉 발표 목록 1. 어쩌면 당연한 것들 - 김태정 님 2. 개선된 통합테스트 환경 만들기 - 김지훈 님 3. 파이프라인의 효율화: 운영 안정성을 위한 작은 스텝 - 정영진 님 4. 닥치면 다 해야하는 스타트업 개발자를 위한 인프라 QuickStart - 이재영 님
소프트웨어 테스트 데브옵스 · 인프라