여기, 주문하신 '예측' 나왔습니다: 추천/ML에서 '예측'을 서빙한다는 것에 대하여 #우아콘2023 #우아한형제들
우아콘 2023 우아한형제들 · YouTube
AI 핵심 요약
추천 모델을 만들고도 트래픽, 응답 시간, 서버 자원 같은 제약 때문에 서비스에 적용하지 못하는 문제를 해결하기 위해 배치·실시간·하이브리드 서빙의 사례와 장단점을 비교했습니다. 배치 결과를 저장소에서 빠르게 제공하거나, 런타임 피처로 요청마다 추론하고, 배치 결과가 없는 경우 실시간으로 보완하는 방식 등을 서비스 특성에 맞게 조합했습니다. 이를 뒷받침하기 위해 Python·FastAPI 기반 API 플랫폼을 Kubernetes에 배포하고 Helm과 Argo CD로 관리했으며, ONNX Runtime으로 추론 엔진을 공통화했습니다. 서빙 방식에 정답은 없으며, 최신성·응답 속도·저장 공간·운영 비용 중 무엇을 우선할지 정하고 실제 요구 조건에 맞춰 설계해야 한다는 점을 강조했습니다.
- 런타임 정보가 필요 없고 결과를 미리 계산할 수 있다면 배치 추론으로 응답 속도와 대규모 트래픽 대응을 우선할 수 있습니다.
- 실시간 추론은 최신 요청 정보를 반영하고 저장 공간을 아끼지만, 계산 비용과 운영 복잡도가 커질 수 있습니다.
- 배치 결과가 없는 요청을 실시간 추론으로 처리하거나, 사용자 피드백을 반영해 배치 결과를 조정하는 하이브리드 구성을 고려할 수 있습니다.
- 서빙 API의 공통부와 모델별 변동부를 분리하고, 입력·설정·추론 구현만 바꾸도록 템플릿화하면 개발과 운영 부담을 줄일 수 있습니다.
- 모델 추론이 느릴 때는 ONNX Runtime이나 NumPy·Polars 같은 대안을 검토하되, 실제 서비스의 응답 시간과 리소스 요구에 맞춰 측정해야 합니다.
소개
[WOOWACON2023 세션 다시보기] 👉 세션 설명 수많은 우여곡절 끝에 완성된 머신러닝 모델! 우리 서비스에서 “어떻게” “잘” 제공할 수 있을까? 여러 추천/ML 모델을 실제 대고객 서비스화하면서 얻은 경험과 사례들을 바탕으로 서빙 시나리오별 장단점, “더 잘 서빙하기 위해” 유의해야할 요소들, 이것들을 고려한 시스템 설계에 대해 짚어봅니다.ㅤ ㅤ 👉 발표자 소개 추천시스템 정현 아동가족학과 출신 개발자. 오디오 엔지니어 경력을 시작으로, 임베디드, 데이터에 이르기까지 다양한 개발 영역을 접해왔습니다. 2016년부터 머신러닝을 검색, 추천 등지에서 대규모 트래픽 서비스, 플랫폼화하는 일을 본격적으로 해오고 있습니다. 대규모 트래픽을 안정적으로 빠르게 처리하는 것과 분산처리, 계산 최적화에 관심이 많습니다. 👍 추천 대상 - 추천/ML 등 모델을 만들었을 때, 고객용 서비스로 어떻게 잘 제공할 수 있을지 궁금한 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면...
이 자료가 담긴 로드맵
커뮤니티에서 더 보기비슷한 학습 자료
컨퍼런스 우아콘 2024
취향 저격 맛집 추천, 더 똑똑하게!: 추천 모델 성장 일지 #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2023
Y가 명확하지 않은 머신 러닝: 비즈니스 제약사항을 고려한 실시간 추론 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 현실 세계에서 예측은 이론과 정말 많이 다릅니다. 정확한 답과 비즈니스적으로 좋은 답은 항상 일치하지 않습니다. 정답과 해답 사이에서 실시간 예측 모델을 도입하기까지 길고 긴 여정을 소개합니다. ㅤ 👉 발표자 소개 배달시간예측서비스팀 이봉호 데이터 엔지니어부터 데이터 과학자까지 데이터 업계 밥만 먹고 살아온, 사연 많은 개발자입니다. 배달시간예측서비스팀 김동인 우아한형제들에서 데이터 과학자로 시간예측, 이상탐지, 랭킹 등의 프로젝트를 진행했습니다. 예측모델링과 사회과학에서의 양적연구에 관심이 있습니다. 👍 추천 대상 - 다양한 유관부서와 함께 프로덕트를 개발하는 데이터과학자 - AI/ML프로덕트를 개발하고 실시간환경에서 서빙하려는 분 - 배달시간예측에 대한 인사이트가 필요하신 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
백엔드 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 우아콘 2023
추천시스템 성장 일지: 데이터 엔지니어 편 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 추천시스템팀이 만들어지고 본격적으로 추천 서비스 개발이 시작된 지도 어느덧 2년이 지났습니다. 이제 두 돌이 된 추천시스템은 지금 어떤 모습일까요? 추천시스템의 아키텍처와 데이터 파이프라인을 소개합니다. 그리고 지금의 추천시스템의 모습을 가능하게 해준 몇 가지 중요 포인트들을 공유합니다ㅤ ㅤ 👉 발표자 소개 추천시스템 김정헌 누구보다 디지털 미니멀리즘에 관심이 많은 개발자. 추천시스템팀에서 추천 서비스 전반을 개발하고 있습니다. 👍 추천 대상 추천, 검색 등 AI / ML 서비스 개발을 막 시작했거나 시작해보려는 개발자 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 우아콘 2023
데이터 엔지니어가 만들어가는 레거시 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 데이터 엔지니어링 원칙과 현업에서 만나게 되는 문제 데이터와 시스템의 중복으로 발생하는 조직 간의 협업과 인수인계의 고민 문제와 고민을 해결하기 위한 선택과 집중ㅤ ㅤ 👉 발표자 소개 추천시스템팀 오창윤 백엔드 프론트엔드를 거쳐 데이터에 자리잡은, 그래서 다른 분야와 같으면서 다른 문제 해결 방식이 흥미로운 엔지니어 👍 추천 대상 - 데이터 엔지니어링과 서비스의 연결을 시작하는 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
데이터베이스 데브옵스 · 인프라
컨퍼런스 우아콘 2023
AI 서비스 자동화 공장 만들기 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 기술을 통해서 경쟁사들보다 한 발짝 더 앞서나가기 위한 우아한형제들의 AI플랫폼을 소개합니다. 품질 좋은 AI 서비스를 빠르게 개발할 수 있는 체력을 어떻게 키우면 좋을까요? MLOps를 포함해 우아한형제들의 AI 서비스 개발 및 운영을 이야기합니다.ㅤ ㅤ 👉 발표자 소개 데이터사이언스팀 유이수 AI 서비스 공장 직원 1입니다. 더 번쩍번쩍한 공장을 만들기 위해 고민하고 있습니다. 데이터사이언스팀 임현호 종합예술인이 되고 싶은 생활체육인 밖구석 개발자 데이터사이언스팀 이준수 데이터사이언스팀을 리드하고 있는 소프트웨어 반지니어 👍 추천 대상 - 빠르게 AI 서비스를 만들고 싶은 분 - AI 서비스를 만드는 데 어려움이 있는 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 우아콘 2023
WOOWA NLP 프레임워크를 활용한 자연어 처리 서비스 적용 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 ChatGPT 열풍으로 자연어처리, 인공지능, 생성AI 등의 기술을, 어떻게 내가 담당하는 비즈니스에 효과적으로 접목시킬 수 있을까 관심 있는 분들이 많아지고 있습니다. NLP 전문 데이터 과학자로서 NLP 기술의 POC를 비교적 빠르게 구현하는 것을 돕는 프레임워크를 소개합니다. ChatGPT에만 매몰되지 않고 비교적 성능이 뛰어난 오픈 LLM들을 편리하게 사용할 수 있도록 프레임워크를 지속적으로 발전시켜 나가려 합니다.ㅤ ㅤ 👉 발표자 소개 데이터사이언스팀 김동환 자연어 처리 기술의 위대함을 알리고 싶은 데이터 과학자입니다. 다양한 서비스에 자연어 처리 기술을 효율적으로 적용하기 위해 고민하며 연구 개발하고 있습니다. ChatGPT 모델이 아니더라도 성능 좋은 오픈 LLM을 편리하게 사용하는 기술도 함께 고민하고 있습니다. 👍 추천 대상 - NLP 기술의 서비스 적용에 관심이 있으신 분 - chatGPT 뿐만...
자연어 처리