멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 | 당근 SRE 밋업 4회
당근 밋업 당근 · YouTube
AI 핵심 요약
장애가 나면 각 분야 전문가가 서로 다른 지표와 기준으로 문제를 설명해 개발자가 상황을 파악하기 어려웠고, 운영 노하우도 한곳에 모이지 않았다. 이를 개선하기 위해 Redis 자원부터 팀원들과 정상 기준을 논의해 SLI를 정하고, 처음에는 리소스 API에서 PromQL을 조합해 조회하는 방식을 시도했다. 이후 Prometheus 레코딩 룰로 복잡한 쿼리를 미리 계산하고 자원 정보와 지표를 결합해, 개발자 포털과 Grafana, 알림에서 같은 SLI를 활용하도록 바꿨다. 그 결과 조회 성능과 재사용성이 나아지고 플랫폼 코드가 단순해졌으며, SLI를 작은 단위부터 합의하고 점진적으로 확장하는 것이 공통의 운영 언어와 기준을 만드는 데 도움이 된다는 교훈을 얻었다.
- SLI는 모든 메트릭이 아니라 서비스의 정상 여부를 판단하는 데 합의해 선택한 핵심 지표다.
- 서비스 전체를 한꺼번에 정의하기보다 Redis 같은 작은 자원부터 시작해 피드백을 반영하며 확장한다.
- Prometheus 레코딩 룰로 복잡한 쿼리를 미리 계산하고, 레이블과 인포 메트릭을 활용해 필요한 정보를 결합할 수 있다.
- 기존 메트릭을 그대로 SLI로 부르기보다, 왜 중요한 지표인지 팀이 합의하는 과정이 운영 기준을 만드는 데 중요하다.
소개
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 (이주원) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근에서 Loki 1년간 운영기 | 당근 SRE 밋업 4회
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 당근에서 Loki 1년간 운영기 (이영훈) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 당근 밋업
당근마켓 서비스를 모니터링하는 방법 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 SLASH