싸늘하다, 메신저에 경보가 날아와 꽂힌다 - 네이버 검색 SRE 시스템 개선기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
기존 모니터링 시스템은 데이터 가공 모듈에 수집·경보·시각화 기능이 의존해 변경이 복잡하고, 한 부분의 장애가 전체 관제 기능을 멈출 수 있었다. 이를 지표 수집기, 경보 파이프라인, 시각화 컴포넌트로 분리하고, 경보는 배치 처리에서 메시지 큐를 이용한 스트리밍 처리로 바꿔 이상 징후를 더 빠르게 전달했다. 시각화에서는 VictoriaMetrics의 쿼리 기능과 템플릿, 사전 계산을 활용해 API 서버의 집계 로직을 줄이고 대규모 지표 조회 성능을 개선했다. 카타르 월드컵 경기 중 트래픽 급증 상황에서 경보 기준 도달 후 약 1분 내외로 알림을 보내고 장애 대응에 활용했으며, 설계는 목적과 트레이드오프를 기준으로 빠르게 검증해야 한다는 점을 강조했다.
- 기능별 컴포넌트를 독립 배포할 수 있게 나누면 변경 영향 범위를 줄이고 장애 격리에도 도움이 된다.
- 경보를 배치로 모아 보내기보다 규칙 평가 직후 메시지 큐로 전달하는 스트리밍 구조를 쓰면 대기 시간을 줄일 수 있다.
- 필터링과 집계는 API 서버에 쌓기보다 시계열 데이터베이스의 쿼리 기능으로 위임해 서버 로직을 단순화할 수 있다.
- 쿼리 템플릿은 중복 수식이 많은 경우 유용하지만, 디버깅과 로깅이 어려워질 수 있어 규모와 목적을 따져 도입해야 한다.
- 대규모 시계열 조회는 VictoriaMetrics의 사전 계산 기능으로 필요한 지표만 미리 집계해 조회 부담을 낮출 수 있다.
소개
[DEVIEW 2023] * 발표자 : 조문형, 조영준(NAVER Search) * 발표제목 : 싸늘하다, 메신저에 경보가 날아와 꽂힌다 - 네이버 검색 SRE 시스템 개선기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 당근 밋업
당근마켓 서비스를 모니터링하는 방법 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 DEVIEW 2023
UI 빌더를 지탱하는 레고 블록 같은 아키텍처 만들기
컨퍼런스 DEVIEW 2023
네이버 검색은 어떻게 나보다 더 내 의도를 잘 아는가? : AiRSearch 반응형 추천
컨퍼런스 DEVIEW 2023
VictoriaMetrics: 시계열 데이터 대혼돈의 멀티버스
컨퍼런스 DEVIEW 2023
지금까지 이런 검색은 없었다. 이것은 검색인가 추천인가 - 네이버 스마트블록 개인화 검색
컨퍼런스 DEVIEW 2023