멈춰버린 세계: 네트워크 통신 불가를 해결하기 위한 여정(feat. Istio) | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근페이에서는 Redis와 데이터베이스 연결 지연이 발생하고 Pod의 모든 아웃바운드 통신이 실패하는 장애가 반복됐습니다. 초기에는 마이크로서비스 분리, Apache Flink 기반 이벤트 스트리밍, G1GC에서 ZGC로의 전환, 쿼리 튜닝, 타임아웃 조정 등 애플리케이션 성능과 복원력을 개선했지만 장애는 재발했습니다. 배포 시점의 지표를 추적하고 Grafana와 k6로 부하 테스트를 진행한 결과, Istio Envoy 프록시의 CPU 리밋으로 인한 스로틀링이 원인으로 확인되어 리밋을 제거했고, 테스트와 운영 환경에서 스로틀링과 네트워크 오류가 사라졌습니다. 장애의 표면적인 에러만 좇기보다 타임라인과 프록시 지표를 함께 살피고, 애플리케이션팀과 인프라팀이 협력해 검증하는 것이 중요하다는 교훈을 얻었습니다.
- 장애 시점의 배포, 지표 변화, 요청 흐름을 시간순으로 정리해 원인과 결과를 구분하세요.
- Istio 사이드카 구조에서는 애플리케이션의 외부 통신도 Envoy 프록시를 거치므로 프록시의 CPU 사용량과 스로틀링을 함께 살펴야 합니다.
- CPU 리밋은 여유 자원이 있어도 스로틀링을 일으킬 수 있으므로, 부하 테스트로 영향을 검증한 뒤 설정을 조정하세요.
- 애플리케이션 개발팀과 인프라팀이 함께 트래픽 경로와 서비스 동작을 파악해야 네트워크 장애를 효과적으로 진단할 수 있습니다.
- 요청량, 데이터베이스 읽기·쓰기 비율, 캐시 적중률 같은 부하 매개변수를 측정하면 시스템의 가용 범위와 병목을 파악하는 데 도움이 됩니다.
소개
갑자기 서버에서 모든 아웃바운드 통신이 실패한다면 사용자는 어떤 경험을 하게 될까요? 그리고 에러 알림을 받은 엔지니어는 어떤 행동을 해야 할까요? 당근페이 팀은 Kubernetes 환경에서 Istio service mesh를 이용해 네트워크를 관리하며 JVM 애플리케이션을 운영하고 있어요. 어느 날 특정 Pod에서 모든 외부 통신이 불가능한 현상이 발생했어요. 이 현상은 짧지 않은 기간 동안 지속되었고, 그때마다 원인 분석과 가설을 바탕으로 문제 해결을 시도했지만 끈질기게 재발했어요. 정확한 원인을 찾아 문제를 해결하기까지 다양한 성능 개선이 이루어졌는데, 내결함성(fault-tolerance)과 탄력성(resilience)을 갖춘 시스템을 만들기 위해 당근페이 팀이 어떤 노력을 하고 있는지 이 세션을 통해 소개할게요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
나가는 길을 다시 그리다: 당근페이 VPC 재설계 | 당근 SRE 밋업 4회
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 나가는 길을 다시 그리다: 당근페이 VPC 재설계 (최용환) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
네트워크 클라우드
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 Istio ServiceEntry 자동생성으로 외부 트래픽 가시화하기 (이시은) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 네트워크
컨퍼런스 당근 밋업
잃어버린 시간, 인프라 자동화로 되찾다 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
궁극의 CI 환경을 만들기 위한 여정 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
당근페이 금융 거래 통합 테스트 개발 이야기 | 당근 SERVER 밋업 2회
컨퍼런스 당근 밋업
당근의 성장과 함께 프로덕트를 만드는 과정에서 겪은 다양한 경험을 공유해요. 🥕 당근페이 금융 거래 통합 테스트 개발 이야기 (유호성/당근페이) #kotlin #testing 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/ 🥕 발표 자료 : https://daangn.notion.site/SERVER-5599a1755889426bafd4e87a0562e0b6 * 당근 Server 밋업 1회 다시보기 : https://youtube.com/playlist?list=PLaHcMRg2hoBr5s_jn5CzZrpkmHOY0N8w7&si=VRdpYyoT0bjZ3VOW
소프트웨어 테스트
컨퍼런스 당근 밋업
당근페이, 6개월 간의 인프라 구축 이야기 | 당근마켓 SRE 밋업 2회
컨퍼런스 당근 밋업
당근 SRE 두 번째 밋업에서는 서비스 배포를 주제로 다양한 세션을 준비했습니다. 🥕 당근페이, 6개월 간의 인프라 구축 이야기 - 강진우 님(당근페이 SRE 팀) 🥕 발표자료: https://www.notion.so/daangn/SRE-ca64e762e18e492fa449f8e43f0114d5 🥕 당근마켓 SRE팀에 합류하기 : https://team.daangn.com/jobs/4473170003/ 2021년 1월 17일 녹화. https://festa.io/events/1912 * 1회 밋업 다시보기: https://www.youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://www.youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라