AlertDelivery: grafana를 활용한 효율적인 알림 시스템 구축 | 당근 SRE 밋업 3회
당근 밋업 당근 · YouTube
AI 핵심 요약
Grafana 레거시 알림은 여러 네임스페이스의 시계열을 한 메시지로 묶고, 알림별 반복 간격이나 담당자 정보를 세밀하게 관리하기 어려웠습니다. 이를 해결하기 위해 Grafana 웹훅으로 받은 데이터를 프로젝트 카탈로그의 메타데이터와 결합하고, 알림 상태와 이력을 저장해 Slack 메시지와 웹 UI로 제공하는 AlertDelivery를 만들었습니다. 알림을 네임스페이스별로 분리하고 담당자·대시보드 링크, 멘션 정책, 스누즈와 알림 끄기 기능을 추가해 개발자가 직접 대응할 수 있게 했습니다. 그 결과 불필요한 알림을 줄이고 이력과 전체 현황을 쉽게 확인하게 됐으며, 알림별 조건과 리포트를 더 정교하게 다듬는 일이 남은 과제로 제시됐습니다.
- Grafana 알림은 한 쿼리의 여러 시계열을 묶어 처리하므로, 네임스페이스별 상태와 복구 알림이 필요하다면 별도 분리 로직을 고려하세요.
- 프로젝트 카탈로그의 메타데이터를 활용하면 알림에 담당 팀과 연락 경로를 연결할 수 있습니다.
- 알림의 반복 간격과 멘션 조건을 알림 유형별 정책으로 관리해 불필요한 반복 알림을 줄이세요.
- 알림 상태와 이력을 저장하면 웹 UI에서 네임스페이스별 현황을 확인하고 알림을 제어할 수 있습니다.
소개
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
이 자료가 담긴 로드맵
커뮤니티에서 더 보기비슷한 학습 자료
컨퍼런스 당근 밋업
온콜, 알림만 보다가 죽겠어요 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
하루종일 알림이 울려요! 하나하나 살펴보느라 다른 일을 할 수가 없어요! 2022년, 당근 SRE팀은 알림 가독성을 높이고 Grafana 알림의 단점을 극복하기 위해 AlertDelivery라는 알림 시스템을 만들었어요. 그리고 2023년, 온콜 프로세스를 도입하여 모든 팀원이 알림 채널을 보기 시작하자 많은 불편함이 드러났어요. 불필요하게 멘션되는 경우가 많고, 알림 창에서 현재 진행 중인 알림만 추려내기가 어려웠어요. 이 불편함을 해소하고 더 효율적으로 알림 시스템을 운영하기 위해 SRE팀이 치열하게 고민한 내용과 개선된 알림 시스템(AlertDelivery V2)의 기능을 소개해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 서비스를 모니터링하는 방법 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라 클라우드
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라