AiSuite: 안정적으로 멀티 테넌트 AI 플랫폼 제공하기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
GPU 클러스터를 여러 사용자가 공유하는 AiSuite에서는 서비스 배포가 늘면서 Istio의 설정 푸시가 모델 서빙과 무관한 프록시·게이트웨이까지 전달돼 자원을 낭비했고, Prometheus도 지표와 레이블 증가로 메모리 부담이 커졌습니다. Istio Sidecar 리소스로 프록시의 관심 범위를 제한하고, 서비스 visibility를 조정하는 Mutating Admission Webhook과 게이트웨이 푸시 로직 개선으로 불필요한 푸시를 줄였습니다. 모니터링에서는 Exporter와 지표 레이블을 정리하고, 수집·저장·조회·알림을 분리해 확장할 수 있는 VictoriaMetrics로 전환해 메모리 사용량을 낮췄습니다. 멀티 테넌트 플랫폼의 안정성을 높이려면 공유 컴포넌트의 영향 범위를 제한하고, 자원 사용을 관측하며, 모니터링 시스템도 역할별로 확장할 수 있어야 한다는 점을 보여줬습니다.
- Istio의 Sidecar 리소스로 프록시가 참조할 네임스페이스와 서비스 범위를 좁히면 불필요한 설정 푸시와 프록시 자원 사용을 줄일 수 있습니다.
- 서비스 용도에 따라 visibility를 자동 설정하는 Mutating Admission Webhook을 두면 사용자가 매번 세부 설정을 관리하는 부담을 낮출 수 있습니다.
- Prometheus에서는 Exporter가 내보내는 지표와 저장 전 레이블을 함께 점검하되, 장애 원인 분석에 필요한 지표까지 제거하지 않도록 주의해야 합니다.
- VictoriaMetrics는 수집·저장·조회·알림 역할을 나누고 VM Agent 샤딩을 지원해, 모니터링 부하를 분산하고 단계적으로 전환할 수 있습니다.
소개
[DEVIEW 2023] * 발표자 : 박정욱, 백인준(NAVER Search) * 발표제목 : AiSuite: 안정적으로 멀티 테넌트 AI 플랫폼 제공하기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
CQuery : 우당탕탕 Trino와 썸타기
컨퍼런스 DEVIEW 2023
CLOVA Vision: 네이버 AI, Cloud, IP카메라의 만남. 일본 AI Cloud Camera 도전기
컨퍼런스 DEVIEW 2023
싸늘하다, 메신저에 경보가 날아와 꽂힌다 - 네이버 검색 SRE 시스템 개선기
컨퍼런스 DEVIEW 2023
DEVIEW 2023 - 키노트 영상
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
AI 경량화: 더 빠르고 저렴한 AI 서비스 - 백동원_NE DAY 23. 10
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] * AI 경량화 삽질기 (feat. LaRva) - Quantization과 삽질기 - Pruning과 삽질기 - Low-Rank와 삽질기 - Knowledge Distillation과 삽질기 * AI 경량화 Benefits & Risks - 전력 소모 단위에서의 AI 경량화 - 각종 논문에서의 AI 경량화 안정성 반증 - AI 경량화에서 얻을 수 있는 Benefits - AI 경량화를 할 때 대비해야 하는 Risks
딥러닝 · 머신러닝