토스ㅣSLASH 21 - SRE 사례 소개
SLASH 토스 · YouTube
AI 핵심 요약
토스 서버 플랫폼 팀은 Redis Cluster 리밸런싱 중 발생한 타임아웃과 리다이렉션 오류를 분석하며, 큰 키의 마이그레이션 위험과 클라이언트 라이브러리인 Lettuce의 동작을 확인했다. 테스트를 통해 슬롯 상태 변경 순서와 Lettuce의 멀티스레드 커넥션 공유 문제를 살펴보고, 리밸런싱 전 키 점검과 리허설, 라이브러리 버전 확인의 필요성을 정리했다. Memcached 장애 사례에서는 재분배 설정에도 일부 키가 장애 노드로 향할 수 있음을 확인해 타임아웃 설정의 중요성을 짚었다. Prometheus 메트릭 수집 후 발생한 GC 문제는 큰 응답 문자열의 humongous allocation이 원인이었으며, 불필요한 메트릭을 줄이고 응답을 스트리밍하도록 바꿔 해결했다.
- Redis Cluster 슬롯 이동은 대상 노드를 IMPORTING, 원본 노드를 MIGRATING 상태로 설정하는 순서가 중요하다.
- 리밸런싱 전 큰 키를 확인하고, 실제 데이터로 리허설해 마이그레이션 시간과 장애 가능성을 점검한다.
- Redis 클라이언트의 연결 공유와 재분배 로직을 살펴보면 간헐적인 리다이렉션 오류나 타임아웃의 원인을 찾는 데 도움이 된다.
- Prometheus 메트릭 응답을 한꺼번에 큰 문자열로 만들면 JVM의 humongous allocation과 GC 부담을 유발할 수 있다.
- 장애 분석에서는 배포·설정 변경 시점, 로그, 메트릭을 함께 비교하고 수집 데이터의 양과 응답 방식을 조정한다.
소개
토스에서 경험한 사이트 신뢰성 엔지니어링 사례를 공유합니다. 조규희 / 토스 Site Reliability Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
비슷한 학습 자료
컨퍼런스 SLASH
업무를 더 효율적으로, 최대의 성과를 낼 수 있는 법은 무엇일까요? 클러스터 운영부터 서비스 라이프사이클 관리까지, 데브옵스 업무 효율화 사례를 소개합니다. 양석준 / DevOps Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #devops #cluster 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처리...
데브옵스 · 인프라
컨퍼런스 SLASH
[수십만 개의 가맹점 * 수백 개의 MSA 서비스 * 복수의 k8s cluster * 수십 개의 원천사] 의 조합 복잡도를 가진 토스페이먼츠가 안정적인 서비스 운영을 위해 분산 추적 체계와 로그를 기반으로 구성한 ‘Observability 체계’를 소개합니다. 하태호 / 토스페이먼츠 Server Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3CkVNja 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #msa #kubernetescluster #serverdeveloper #토스페이먼츠 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포...
백엔드 데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 22 - 스크래핑으로 우아한 조회 경험을 만든 방법
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 데이터의 흐름과 활용
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스의 서버 인프라 모니터링
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 서비스를 구성하는 서버 기술
컨퍼런스 SLASH
Active-Active 데이터센터 운영, Kubernetes와 Istio Service Mesh 운영, API-Gateway, Kafka, Redis, Monitoring Stack 등 토스에서 사용하는 전반적인 기술과 시스템 구성을 공유합니다. 이항령 / 토스 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
백엔드 데이터베이스 데브옵스 · 인프라