HPA Scale-in이 만든 AZ 불균형, Pod Deletion Cost로 바로잡기 | 당근 SRE 밋업 4회
당근 밋업 당근 · YouTube
AI 핵심 요약
로컬리티 로드 밸런싱으로 크로스 AZ 트래픽과 지연을 줄였지만, HPA 스케일인 때 삭제 순서가 제어되지 않아 특정 AZ에 파드와 부하가 쏠리는 존 스큐가 발생했습니다. 토폴로지 스프레드 제약은 새 파드 배치에는 효과가 있었지만 스케일인에는 적용되지 않았고, 수동 재시작도 반복되는 문제를 해결하지 못했습니다. 이를 해결하기 위해 쿠버네티스의 Pod Deletion Cost를 활용해 파드 수 변화 이벤트를 감지하고, 존별 불균형에 따라 필요한 파드에만 비용을 부여하는 Go 컨트롤러를 만들었습니다. 도입 후 존별 파드 수와 CPU 사용량의 편차가 줄었고, 존 스큐로 인한 장애와 온콜의 수동 재시작도 감소했습니다.
- Pod Deletion Cost는 낮은 값의 파드부터 삭제되므로, 스케일인 때 남길 파드를 간접적으로 지정할 수 있습니다.
- 모든 파드의 비용 값을 계속 갱신하면 API 호출과 상태 관리가 복잡해질 수 있어, 필요한 파드에만 비용을 부여하는 방식을 선택했습니다.
- 파드 수 변화 이벤트를 큐에 넣고, 존별 분포와 목표 비용 개수를 계산한 뒤 필요한 경우에만 패치하도록 구성했습니다.
- 균형 상태에서도 양쪽 존에 대칭 비용을 부여하면 다음 스케일인에서 한쪽으로만 파드가 줄어드는 불확실성을 줄일 수 있습니다.
소개
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 HPA Scale-in이 만든 AZ 불균형, Pod Deletion Cost로 바로잡기 (김규환) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근 개발자 플랫폼은 어떻게 발전하고 있을까 | 당근 SRE 밋업 4회
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 당근 개발자 플랫폼은 어떻게 발전하고 있을까 (변정훈) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 개발 도구
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 (이주원) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 프로덕트 지표 · 실험
컨퍼런스 당근 밋업
비용이 왜 튀었는지 저도 몰라요 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
Amazon EKS 데이터 전송 비용 절감 사례 | 당근 SRE 밋업 3회
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
클라우드
컨퍼런스 당근 밋업
당근마켓 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근마켓 SRE 팀에서 공유합니다. 이번 SRE 밋업에서는 사내 개발자 플랫폼 개발과 관련된 다양한 세션을 준비했습니다. 🥕발표자료: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b?pvs=4 🥕 당근 SRE에 지원하기: https://about.daangn.com/jobs/ * 1회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라 클라우드
컨퍼런스 당근 밋업
당근 SRE 두 번째 밋업에서는 서비스 배포를 주제로 다양한 세션을 준비했습니다. 🥕 쿠버네티스 멀티 클러스터에서 Addons를 관리하는 방법 - 유정열 님(당근마켓 SRE 팀 클러스터 파트) 🥕 발표자료: https://www.notion.so/daangn/SRE-ca64e762e18e492fa449f8e43f0114d5 🥕 당근마켓 SRE팀에 합류하기 : https://team.daangn.com/jobs/4473170003/ 2021년 1월 17일 녹화. https://festa.io/events/1912 * 1회 밋업 다시보기: https://www.youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://www.youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라