VLOps:Event-driven MLOps & Omni-Evaluator
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
VLM 학습·평가 과정은 단계와 벤치마크가 늘어날수록 파이프라인 관리가 복잡해지고, 상시 실행 컨슈머가 GPU 자원을 점유하는 문제가 있었습니다. 이를 해결하기 위해 Typed Message를 Kafka 이벤트 버스로 발행하고 Airflow 기반 이벤트 센서가 메시지를 감지해 GPU 세션을 할당·실행·회수하는 이벤트 기반 MLOps 구조를 만들었습니다. Omni-Evaluator는 공통 스키마와 파서를 통해 여러 추론 엔진과 평가 프레임워크를 연결하고, 대시보드는 파이프라인 상태와 평가 결과를 보여 주며 사용자가 직접 작업을 트리거하도록 구성했습니다. 발표에서는 이 구조가 모듈 간 결합을 낮추고 클라우드 간 실행과 평가 확장을 지원하는 한편, 이벤트 추적을 위한 대시보드와 Airflow-Kafka 컨슈머 동작 점검이 중요하다는 점을 공유했습니다.
- 작업 상태와 입력을 Typed Message로 명세하면 실행 전에 유효성을 검증하고, 모듈 간 의존성을 줄일 수 있습니다.
- GPU 작업은 이벤트가 발생할 때 세션을 할당하고 종료 후 자원을 회수해 상시 실행 컨슈머의 유휴 자원 점유를 피합니다.
- Airflow와 Kafka를 함께 쓸 때는 트리거러의 컨슈머 종료와 커밋 동작을 확인해야 하며, 발표 사례에서는 컨슈머를 명시적으로 종료해 지연 문제를 해결했습니다.
- 추론 엔진과 평가 프레임워크 사이에 공통 스키마와 파서를 두면 서로 다른 조합을 플러그 앤 플레이 방식으로 연결할 수 있습니다.
- 대시보드에서 이벤트 흐름, 잡 상태, 평가 결과와 세부 샘플을 함께 보여 주면 비동기 파이프라인의 추적과 사용자 주도 실행을 지원할 수 있습니다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - Event-driven MLOps는 학습·평가·배포를 Typed Message 단위로 정의하고, Event Sensor가 이를 감지해 자율적으로 실행하는 구조입니다. - Kubeflow 같은 파이프라인처럼 전체 버전 관리가 필요하지 않으며, 메시지를 추가하는 것만으로 기능 확장이 가능합니다. - 사용자는 내부 오케스트레이션을 몰라도 메시지 발행만으로 동일한 파이프라인을 구동할 수 있습니다. - 이를 통해 평가·배포 시스템 간 느슨한 결합(Loose Coupling)과 클라우드 간 호환성을 확보했습니다. - Omni-Evaluator와 Dashboard는 다양한 엔진·벤치마크를 통합하고, 실시간 모니터링과 사용자 주도 트리거 기능을 제공합니다. [발표 대상] MLOps 엔지니어, ML 리서처, 데이터 사이언티스트 클라우드 인프라/DevOps 개발자, ...
비슷한 학습 자료
컨퍼런스 if kakao
카카오클라우드 MLOps 활용 방안 소개 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오클라우드 위에서 AI를 위한 데이터 수집부터 모델 개발, 학습, 튜닝, 서빙까지의 파이프라인 구성과 활용 방안에 대해 소개합니다. #빅데이터 #MLops #AI #Cloud 카카오클라우드에서 Data 및 Machine Learning 플랫폼 PM을 담당하고 있는 Evan입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-22 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝 클라우드
컨퍼런스 if kakao
카카오뱅크의 MLOps / if(kakao)2022
컨퍼런스 if kakao
데이터과학자가 개발한 ML 모델을 서비스에 빠르게 적용하기 위한 방법을 모색합니다. MLOps를 만들어 가기 위한 툴로 다양한 Open Source가 존재하지만, 각자의 회사에 알맞은 시스템 구성이 필요합니다. 본 세션에서는 MLOps에 대해 고민했던 내용에 대해 말씀드리고, 카카오뱅크만의 MLOps 시스템 구성부터 주요 콤포넌트 그리고 서비스 적용에 대한 경험을 공유합니다. #ML #mlops #아키텍처 #시스템구성 #MLPipeline #라이브러리 #MLModelServing 카카오뱅크 빅데이터분석팀 토비입니다.MLOps 프로젝트를 2년간 진행해 오면서, 다양한 경험을 할 수 있었습니다. 카카오뱅크만에 MLOps 문화를 만들기 위해 노력하고 있고요. ML모델을 서비스에 적용하기 위한 일련의 과정을 자동화하고 있습니다. 그동안 경험 했던, 카카오뱅크의 MLOps를 공유 드리려고 합니다. 많은 관심 부탁드립니다. 감사합니다. 발표자료 보기 👉https://speakerde...
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 보이지 않는 것을 보다 : Observability(O11y) Platform으로 여는 새로운 가능성 Observability Platform(REO)을 통해 클라우드 서비스의 SLI/SLO 측정 및 구현/적용 방법과 서비스 관점 모니터링에 대한 관찰 가능성의 접근 방법을 설명합니다. 목차 1. SRE Observability(O11y) Platform(REO) A to Z - Overview of Observability Platform Observability & Monitoring 특징 비교 Observability Platform Coverage 및 Architecture Service Quality Signal to Metric/Indicator/Objective Service Level Metric Dashboard & Alarm - Observability Pla...
데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
AI와 함께하는 프로젝트 자동화 : 더 빠르고, 더 스마트하게
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 로컬 환경에서 Ollama LLM과 mcp-agent를 연결해 빌드 실패 분석, 크래시 로그 요약, Slack 자동 리포트까지 구현했습니다. AI가 단순한 도구가 아닌, 프로젝트의 자동화 동료가 되는 과정을 공유합니다. [발표 대상] 로컬 LLM(Ollama)과 오픈소스 mcp-agent 를 활용한 AI 자동화 시스템 구축에 관심 있는 개발자 [목차] * AI와 자동화를 연결하기 * LLM을 활용한 빌드 실패 알림 자동화 * LLM을 활용한 크래시 모니터링 자동화 * Slack with LLM * LLM & MCP 면 만능일까?
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 우아콘 2025