당근에서 Loki 1년간 운영기 | 당근 SRE 밋업 4회
당근 밋업 당근 · YouTube
AI 핵심 요약
당근은 Loki 운영 과정에서 로그 유실과 느린 조회를 겪었고, Loki의 Distributor·Ingester·Querier 구조와 S3 저장 방식을 파악해 진단용 Grafana 대시보드를 만들었다. S3 쓰기 제한을 피하려 청크 크기를 키우는 시도는 메모리 사용량과 조회 속도를 악화시켜 되돌렸고, 대신 Alloy의 배치·파일 감지 설정을 조정하고 Loki의 CPU 리밋을 제거해 수집 병목과 로그 누락을 해결했다. 조회 성능은 CPU 스로틀링을 줄이고 Querier 동시성·병렬성과 청크 샤딩을 튜닝했으며, 샤드가 특정 Querier에 몰리는 문제에는 쿼리 스케줄러를 적용했다. 그 결과 느리거나 타임아웃이 나던 쿼리의 속도가 개선됐고, 운영에서는 대시보드와 실제 쿼리 패턴을 바탕으로 병목을 찾아 트레이드오프를 검증하는 것이 중요하다는 점을 공유했다.
- Loki는 로그 본문이 아니라 라벨을 인덱싱하므로, 라벨 설계가 조회 효율과 운영 방식에 큰 영향을 준다.
- 로그 유실을 조사할 때는 수집기 설정만 바꾸기보다 파일 로테이션 주기와 수집기의 파일 읽기 병목을 함께 확인한다.
- CPU 사용률이 낮아 보여도 쿠버네티스 CPU 리밋으로 스로틀링이 생길 수 있으므로, 리밋 제거 시 노드 내 다른 파드에 미칠 영향도 고려한다.
- 쿼리 병렬성·샤딩 값은 로그량과 라벨 구성에 따라 달라지므로, 메모리 압박과 대기 시간을 관찰하며 반복적으로 조정한다.
소개
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 당근에서 Loki 1년간 운영기 (이영훈) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근 개발자 플랫폼은 어떻게 발전하고 있을까 | 당근 SRE 밋업 4회
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 당근 개발자 플랫폼은 어떻게 발전하고 있을까 (변정훈) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 개발 도구
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 (이주원) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 프로덕트 지표 · 실험
컨퍼런스 당근 밋업
당근의 성장과 함께 프로덕트를 만드는 과정에서 겪은 다양한 경험을 공유해요. 🥕 한 달 동안 만든 서비스, 일 년 반 만에 전국 오픈하기 (육진혁/커뮤니티실) #kotlin #spring 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/ 🥕 발표 자료 : https://daangn.notion.site/SERVER-5599a1755889426bafd4e87a0562e0b6 * 당근 Server 밋업 1회 다시보기 : https://youtube.com/playlist?list=PLaHcMRg2hoBr5s_jn5CzZrpkmHOY0N8w7&si=VRdpYyoT0bjZ3VOW
백엔드 프로그래밍 언어
컨퍼런스 당근 밋업
당근마켓 서비스를 모니터링하는 방법 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라