온콜, 알림만 보다가 죽겠어요 | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근 SRE팀은 여러 네임스페이스의 알림이 한 메시지에 섞이고, 가독성과 프로젝트 정보가 부족해 온콜 담당자가 지속 중인 이슈와 대응자를 파악하기 어려웠다. 이를 개선하려고 Grafana 알림을 AlertDelivery로 전달하고, 네임스페이스별 메시지와 프로젝트 메타데이터·배포 링크·담당자 정보를 제공했다. 온콜 도입 뒤에는 불필요한 멘션과 진행 중인 알림을 구분하기 어려운 문제가 드러나, 메트릭의 수치와 추세에 따른 심각도 레벨링, Slack 스레드로 발생·해결 알림 묶기, 모든 Grafana 알림의 통합 전달을 추가했다. 그 결과 알림 메시지와 멘션이 줄고 온콜 담당자가 확인할 항목을 추리기 쉬워졌으며, 알림 기준을 팀이 합의하고 기록하는 일이 중요하다는 점도 확인했다.
- 알림을 네임스페이스별로 분리하고, 프로젝트 담당자와 배포 시스템 링크를 메시지에 포함하면 원인 파악과 담당자 연결에 드는 수고를 줄일 수 있다.
- 심각도 기준은 알림별로 팀이 합의해 문서화하고, 임계치뿐 아니라 메트릭의 변화 추세도 반영한다.
- Slack 스레드에 동일 알림의 발생·해결 메시지를 모으고 첫 메시지의 상태를 갱신하면 진행 중인 이슈를 빠르게 찾을 수 있다.
- Grafana 알림을 한 전달 시스템으로 모으면 알림별 음소거와 심각도 판정 같은 공통 기능을 일관되게 적용할 수 있다.
소개
하루종일 알림이 울려요! 하나하나 살펴보느라 다른 일을 할 수가 없어요! 2022년, 당근 SRE팀은 알림 가독성을 높이고 Grafana 알림의 단점을 극복하기 위해 AlertDelivery라는 알림 시스템을 만들었어요. 그리고 2023년, 온콜 프로세스를 도입하여 모든 팀원이 알림 채널을 보기 시작하자 많은 불편함이 드러났어요. 불필요하게 멘션되는 경우가 많고, 알림 창에서 현재 진행 중인 알림만 추려내기가 어려웠어요. 이 불편함을 해소하고 더 효율적으로 알림 시스템을 운영하기 위해 SRE팀이 치열하게 고민한 내용과 개선된 알림 시스템(AlertDelivery V2)의 기능을 소개해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 (이주원) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 프로덕트 지표 · 실험
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 당근 밋업
당근마켓 서비스를 모니터링하는 방법 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | SRE Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 기술과 도구가 달라지는 시기에도, 개발자가 개발에 집중하고 사용자가 서비스를 믿고 쓸 수 있도록 돕는 SRE의 역할은 변하지 않아요. 개발과 배포의 속도를 높이는 시도부터 인프라를 효율적으로 운영하고 서비스의 신뢰성을 지키는 과정까지, 당근 SRE가 현장에서 마주한 문제와 해결의 여정을 만나보세요. 👉 당근 채용 바로가기: https://careers.daangn.com/
시스템 · 운영체제