값비싼 Diffusion model을 받드는 저비용 MLOps
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
Diffusion 모델은 반복적인 디노이징과 대규모 이미지·텍스트 학습 데이터 때문에 생성 지연과 GPU 비용이 큰데, 발표팀은 이미지 생성 서비스를 운영하며 이를 줄이는 방법을 찾았다. 지식 증류로 추론 스텝을 줄인 모델을 만들고, TensorRT와 Triton을 이용해 연산과 GPU 메모리 입출력을 최적화해 생성 속도를 높였다. 여러 모델로 구성된 파이프라인은 Triton Inference Server의 앙상블 모델과 스케줄러로 운영해 요청을 겹쳐 처리하도록 했다. 모델 품질과 속도 사이의 선택지를 제공하고, 단일 모델뿐 아니라 전체 파이프라인의 병목과 실행 순서까지 함께 최적화해야 한다는 점을 강조했다.
- 지식 증류로 모델의 파라미터 수를 줄이는 대신 추론 스텝을 줄이면, 생성 품질을 유지하면서 지연 시간을 단축할 수 있다.
- 추론 스텝을 무작정 줄인 결과와 증류로 학습한 결과를 비교해 품질 저하 여부를 확인해야 한다.
- TensorRT와 Triton을 활용해 연산을 융합하고 GPU 메모리 입출력을 줄이면 추론을 최적화할 수 있다.
- 여러 모델이 연결된 서비스에서는 모델 간 의존성을 고려한 스케줄링과 요청 간 동시 실행이 GPU 활용도를 높인다.
소개
[DEVIEW 2023] * 발표자 : 김태훈, 이동익(Symbiote AI) * 발표제목 : 값비싼 Diffusion model을 받드는 저비용 MLOps * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
컨퍼런스 DEVIEW 2023
이해, 생성, 효율: 세 마리 토끼 다 잡는 Seq2Seq HyperCLOVA
컨퍼런스 DEVIEW 2023
파파고의 빨간펜 선생님: 자동 번역 품질 평가 모델 구축과 응용
컨퍼런스 엔지니어링데이 2025
VLOps:Event-driven MLOps & Omni-Evaluator
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - Event-driven MLOps는 학습·평가·배포를 Typed Message 단위로 정의하고, Event Sensor가 이를 감지해 자율적으로 실행하는 구조입니다. - Kubeflow 같은 파이프라인처럼 전체 버전 관리가 필요하지 않으며, 메시지를 추가하는 것만으로 기능 확장이 가능합니다. - 사용자는 내부 오케스트레이션을 몰라도 메시지 발행만으로 동일한 파이프라인을 구동할 수 있습니다. - 이를 통해 평가·배포 시스템 간 느슨한 결합(Loose Coupling)과 클라우드 간 호환성을 확보했습니다. - Omni-Evaluator와 Dashboard는 다양한 엔진·벤치마크를 통합하고, 실시간 모니터링과 사용자 주도 트리거 기능을 제공합니다. [발표 대상] MLOps 엔지니어, ML 리서처, 데이터 사이언티스트 클라우드 인프라/DevOps 개발자, ...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] AI/ML 분산 처리 프레임워크인 Ray를 활용하여 GPU Util 100%를 달성한 배치처리 기법과 확장 가능한 모델 서빙 아키텍처를 소개합니다. [발표 대상] 배치 파이프라인 설계와 모델 서빙 자동화를 담당하는 분 Ray 기반 인프라 운영 및 GPU 클러스터 관리 업무를 수행하는 분 Ray Serve를 활용해 고성능 모델 서빙 API를 설계·배포·운영하는 분 Ray LLM(vLLM) 기반 LLM 추론 파이프라인을 구성·확장하고, 내부 모델 레지스트리를 연동하는 분 [목차] 1. Introduction to Ray - Ray에 대한 소개 및 Core Architecture에 대한 이해 2. Ray Data: GPU Util 100% Bach Inference를 위한 수난기 - 기존 구조와 도입된 구조 비교 - TroubleShooti...
데브옵스 · 인프라 딥러닝 · 머신러닝