AI Platform 2.0: LLMOps로 만드는 비즈니스 레버리지 #우아콘2025 #우아한형제들
우아콘 2025 우아한형제들 · YouTube
AI 핵심 요약
LLM 프로덕트가 늘고 PM·디자이너 등 비개발 직군까지 사용하면서, 제공자별 SDK와 인증 관리, 장애 대응, 프롬프트 추적, 비용·품질 평가가 운영 부담으로 커졌다. 우아한형제들은 기존 MLOps 구성요소를 재사용해 Langfuse 기반 Studio, 공통 SDK와 API 게이트웨이, 모델 라우터, PII 탐지, 비용·지연 시간 모니터링을 갖춘 LLMOps 플랫폼을 만들었다. 프롬프트 버전 관리와 골든 데이터셋 평가를 제공하고, Gradio 기반 실험 도구로 도메인 전문가도 검증에 참여하게 했으며, POC와 프로덕션 절차도 분리했다. 발표에서 공유한 결과로는 플랫폼 사용자가 전년 대비 약 50% 늘고 LLM 프로젝트가 약 69% 증가했으며, 운영 안정성과 보안, 조직 내 활용 범위를 함께 개선했다.
- 여러 LLM 제공자의 SDK와 인증 정보를 직접 관리하는 대신, 공통 SDK와 API 게이트웨이로 호출 방식을 표준화한다.
- 프롬프트를 버전·라벨로 관리하면 배포 상태를 추적하고 특정 버전으로 롤백하거나 A/B 테스트하기 쉽다.
- 트레이스에 모델, 지연 시간, 토큰, 비용을 함께 기록해 병목과 비용 원인을 서비스 지표와 구분해 살핀다.
- 골든 데이터셋으로 프롬프트와 모델을 오프라인 평가하고, 도메인 전문가도 실험할 수 있는 도구를 마련한다.
- PII 탐지와 제공자 장애 시 라우팅·폴백을 플랫폼에 포함해 보안과 가용성을 개발자 개인의 대응에 맡기지 않는다.
소개
[세션 설명] LLM 프로덕트는 쉽게 시작할 수 있지만, 운영에서 안정성과 임팩트를 확보하는 것은 또 다른 과제입니다. 우아한형제들의 경험과 해법, 그리고 LLMOps 플랫폼 설계를 공유합니다. [발표자 소개] 이준수(머신러닝 엔지니어)
이 자료가 담긴 로드맵
커뮤니티에서 더 보기비슷한 학습 자료
컨퍼런스 당근 밋업
개발자 없이 AI로 프로덕트 a-z 완성하기
컨퍼런스 당근 밋업
비개발자도 AI로 실무 자동화를 만들 수 있을까? 당근 운영팀의 실제 사례로 바이브 코딩, 리뷰 자동화, LLM 기반 운영 전환까지 A to Z를 공유합니다. # 주요 내용 - 바이브 코딩 도전기: 검색어 이상치 탐지, 인터랙션 프로토타입, 실무 적용 팁과 한계 - 리뷰 자동화 시스템: 슬랙 + 재피어 + GPT로 요약, 라벨링, 인사이트 리포팅까지 구현 - LLM 운영 자동화 전환: “레귤러 마커(Regex Maker)”에서 완전 자동화 판단 시스템으로의 진화 - 프롬프트 전략: 역할 부여, 맥락 제공, 네거티브 샘플, 제약조건, 반복 개선 - 커리어 인사이트: “중간은 필요 없다” 시대의 생존 전략과 실전 사례 # 이런 분들께 추천해요! - 개발 리소스 없이도 빠르게 프로토타입과 자동화를 시도해보고 싶은 실무자 - 분석, 분류 등 반복 업무를 AI로 대체하고 싶은 운영 담당자 - 프롬프트 설계와 에이전트 활용의 실전 감을 익히고 싶은 분 #바이브코딩 #LLM #업무자동화...
AI 코딩 AI에이전트 개발
컨퍼런스 엔지니어링데이 2025
VLOps:Event-driven MLOps & Omni-Evaluator
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - Event-driven MLOps는 학습·평가·배포를 Typed Message 단위로 정의하고, Event Sensor가 이를 감지해 자율적으로 실행하는 구조입니다. - Kubeflow 같은 파이프라인처럼 전체 버전 관리가 필요하지 않으며, 메시지를 추가하는 것만으로 기능 확장이 가능합니다. - 사용자는 내부 오케스트레이션을 몰라도 메시지 발행만으로 동일한 파이프라인을 구동할 수 있습니다. - 이를 통해 평가·배포 시스템 간 느슨한 결합(Loose Coupling)과 클라우드 간 호환성을 확보했습니다. - Omni-Evaluator와 Dashboard는 다양한 엔진·벤치마크를 통합하고, 실시간 모니터링과 사용자 주도 트리거 기능을 제공합니다. [발표 대상] MLOps 엔지니어, ML 리서처, 데이터 사이언티스트 클라우드 인프라/DevOps 개발자, ...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 우아콘 2025
AI 네이티브 회사를 향한 새로운 항해 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
우아한형제들 AI PM이 하는 일 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2023
AI 서비스 자동화 공장 만들기 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 기술을 통해서 경쟁사들보다 한 발짝 더 앞서나가기 위한 우아한형제들의 AI플랫폼을 소개합니다. 품질 좋은 AI 서비스를 빠르게 개발할 수 있는 체력을 어떻게 키우면 좋을까요? MLOps를 포함해 우아한형제들의 AI 서비스 개발 및 운영을 이야기합니다.ㅤ ㅤ 👉 발표자 소개 데이터사이언스팀 유이수 AI 서비스 공장 직원 1입니다. 더 번쩍번쩍한 공장을 만들기 위해 고민하고 있습니다. 데이터사이언스팀 임현호 종합예술인이 되고 싶은 생활체육인 밖구석 개발자 데이터사이언스팀 이준수 데이터사이언스팀을 리드하고 있는 소프트웨어 반지니어 👍 추천 대상 - 빠르게 AI 서비스를 만들고 싶은 분 - AI 서비스를 만드는 데 어려움이 있는 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 우아콘 2023
WOOWA NLP 프레임워크를 활용한 자연어 처리 서비스 적용 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 ChatGPT 열풍으로 자연어처리, 인공지능, 생성AI 등의 기술을, 어떻게 내가 담당하는 비즈니스에 효과적으로 접목시킬 수 있을까 관심 있는 분들이 많아지고 있습니다. NLP 전문 데이터 과학자로서 NLP 기술의 POC를 비교적 빠르게 구현하는 것을 돕는 프레임워크를 소개합니다. ChatGPT에만 매몰되지 않고 비교적 성능이 뛰어난 오픈 LLM들을 편리하게 사용할 수 있도록 프레임워크를 지속적으로 발전시켜 나가려 합니다.ㅤ ㅤ 👉 발표자 소개 데이터사이언스팀 김동환 자연어 처리 기술의 위대함을 알리고 싶은 데이터 과학자입니다. 다양한 서비스에 자연어 처리 기술을 효율적으로 적용하기 위해 고민하며 연구 개발하고 있습니다. ChatGPT 모델이 아니더라도 성능 좋은 오픈 LLM을 편리하게 사용하는 기술도 함께 고민하고 있습니다. 👍 추천 대상 - NLP 기술의 서비스 적용에 관심이 있으신 분 - chatGPT 뿐만...
자연어 처리