토스ㅣSLASH 21 - 토스의 서버 인프라 모니터링
SLASH 토스 · YouTube
AI 핵심 요약
마이크로서비스와 인프라가 커지면서 기존 DC/OS·Consul 기반 환경의 운영 부담과 서비스 디스커버리 한계가 드러나, Kubernetes와 서비스 메시로 전환하며 모니터링 체계도 Prometheus 중심으로 바꿨습니다. 장애 원인을 빠르게 찾기 위해 애플리케이션·네트워크·OS 레이어로 지표를 구분하고, 서비스 메시의 응답 플래그와 CPU throttling, 디스크 I/O, 네트워크 드롭 등 원인에 가까운 지표를 활용했습니다. 외부에서 애플리케이션까지 도달하는 경로를 확인하는 블랙박스 모니터링과 머신 상태 점검도 마련해 트래픽을 우회하거나 문제 인스턴스를 서비스 디스커버리에서 제거하도록 했습니다. Prometheus의 메모리 사용량과 메트릭 누락 문제는 메트릭 정리, 타깃 샤딩, Thanos와 오브젝트 스토리지 활용으로 개선했으며, 모니터링은 지표와 장애의 상관관계를 높이고 수집 인프라 자체의 안정성도 확보해야 한다는 점을 강조했습니다.
- 애플리케이션, 네트워크, OS 레이어를 나눠 지표를 살피면 장애 원인을 단계적으로 좁힐 수 있습니다.
- CPU는 컨테이너의 CPU throttling, 디스크는 I/O 지연과 오류, 네트워크는 패킷 드롭·오버런처럼 원인과 가까운 지표를 선택하세요.
- 서비스 메시의 응답 플래그와 클라이언트 측 로드 밸런싱 지표는 서비스 간 통신 장애를 파악하는 단서가 됩니다.
- Prometheus의 메모리 부담은 불필요한 메트릭과 높은 카디널리티를 줄이고, 타깃 샤딩과 Thanos로 수집·저장 부하를 분산해 완화할 수 있습니다.
소개
서버 인프라를 효과적으로 트러블 슈팅할 수 있도록 노력한 경험과 모니터링 인프라를 운영한 경험을 공유합니다. 이재성 / 토스 DevOps Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
비슷한 학습 자료
컨퍼런스 SLASH
업무를 더 효율적으로, 최대의 성과를 낼 수 있는 법은 무엇일까요? 클러스터 운영부터 서비스 라이프사이클 관리까지, 데브옵스 업무 효율화 사례를 소개합니다. 양석준 / DevOps Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #devops #cluster 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처리...
데브옵스 · 인프라
컨퍼런스 SLASH
[수십만 개의 가맹점 * 수백 개의 MSA 서비스 * 복수의 k8s cluster * 수십 개의 원천사] 의 조합 복잡도를 가진 토스페이먼츠가 안정적인 서비스 운영을 위해 분산 추적 체계와 로그를 기반으로 구성한 ‘Observability 체계’를 소개합니다. 하태호 / 토스페이먼츠 Server Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3CkVNja 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #msa #kubernetescluster #serverdeveloper #토스페이먼츠 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포...
백엔드 데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 데이터의 흐름과 활용
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 서비스를 구성하는 서버 기술
컨퍼런스 SLASH
Active-Active 데이터센터 운영, Kubernetes와 Istio Service Mesh 운영, API-Gateway, Kafka, Redis, Monitoring Stack 등 토스에서 사용하는 전반적인 기술과 시스템 구성을 공유합니다. 이항령 / 토스 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
백엔드 데이터베이스 데브옵스 · 인프라
컨퍼런스 SLASH
토스ㅣSLASH 21 - SRE 사례 소개
컨퍼런스 SLASH