메시지 광고 추천 딥러닝 인퍼런스 서버 개선 -Jvm Onnx Runtime에서 Nvidia Triton도입까지 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
메시지 광고 추천에 소재 임베딩을 활용하는 더 큰 모델과 대규모 실시간 추론 요구가 추가되면서, JVM과 ONNX Runtime 기반 서버의 JNI 데이터 복사 및 런타임 제약이 병목이 됐다. 먼저 gRPC 압축과 피처 인덱싱으로 처리량을 높였지만, 근본적인 런타임 한계를 해결하기 위해 기존 플랫폼과 인프라는 유지하고 인퍼런스 서버를 NVIDIA Triton으로 교체했다. Triton의 다양한 런타임 지원과 배치·스케줄링 기능을 도입하고 Nsight Systems로 프로파일링했으며, Model Analyzer로 성능 설정 탐색도 자동화했다. 그 결과 추가 리소스 증설 없이 2천만 건의 추론을 2.96초에 처리했고, 작은 모델에서는 스레드 수를 무작정 늘리기보다 측정에 기반해 조정해야 한다는 점을 확인했다.
- 요청 처리량만 보지 말고 네트워크, 전처리, 런타임 호출까지 구간별로 측정해 병목을 찾아야 합니다.
- JVM에서 JNI로 데이터를 넘길 때 발생하는 복사와 메모리 경합은 동시 요청이 늘수록 지연을 키울 수 있습니다.
- 작은 모델에서는 스레드 수를 늘리는 것이 오히려 문맥 전환과 블로킹을 늘려 성능을 떨어뜨릴 수 있습니다.
- Triton의 동적 배치와 Model Analyzer를 활용하면 처리량·지연시간에 맞는 서빙 설정을 자동으로 탐색할 수 있습니다.
소개
메시지 광고 추천 시스템은 일별 500개 이상의 모델을 실시간으로 서빙합니다. 이번 발표에서는 LLM 모델 서빙 속도를 높이기 위해 JVM 기반 인퍼런스 서버를 Nvidia Triton으로 교체한 경험을 공유합니다. #AI #DNN #Model_Inference #MLOps 광고추천개발의 Hendo입니다. 모델 인퍼런스 & 서빙에 관심이 많습니다. 광고추천개발의 Jaylene입니다. 실시간 모델 인퍼런스와 서빙 작업을 담당하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-18 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
광고추천 조직의 Ai MLOps - Yggdrasil 시스템 중 Feature Store 플랫폼에 대해서 소개합니다. 데이터 사이언티스트 친화적으로 구축하여 학습 및 추론 요구사항을 만족시키고, 효율적이며 일관적인 피처 관리를 달성한 점을 중점적으로 다룹니다. 특히, raw data로부터 feature를 추출하여 적절히 가공하고, 페타바이트 이상의 조단위 건의 대용량 데이터를 처리하는 내용을 공유하고자 합니다. #AI #FeatureStore #MLOps #Data 광고추천개발에서 데이터 엔지니어링을 하고 있는 Ben입니다. 광고추천 조직의 Eli입니다. MLOps 의 Feature, 모델을 기술적으로 다루는 업무를 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-19 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술...
데이터베이스 딥러닝 · 머신러닝
컨퍼런스 if kakao
NVIDIA Vice President for World-wide Developer Relations Ty McKercher 키노트 : NVIDIA AI Native Company 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:15 엔비디아 소개 05:39 day-0 Titles 13:58 AI가 가져올 새로운 변화 15:08 NVIDIA와 카카오의 협업 17:58 지속가능한 AI 생태계 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 AI Native Company로써 엔비디아가 기울이고 있는 노력과 두 회사가 만들어나갈 AI 시너지를 공개하였습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://if.kakao.com/
인공지능 기타
컨퍼런스 if kakao
Preview AI_1 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. TensorFlow Serving보다 10배 빠르게 서빙하기 @jesse.ha 텐서플로우로 만든 딥러닝 모델을 서비스에서 사용하기 위해 인퍼런스 서버를 구축하는 과정에서 코드 레벨/도메인 레벨/Layer Fusion/구현 레벨 등 다양한 관점에서의 최적화를 통해 TensorFlow Serving보다 10배 빠르게 만든 과정을 공유합니다. 2. ML로 기프트권 받을 유저 정하기 @yul.kk ML을 사용하여 픽코마 무료 에피소드 열람 기프트권 발송을 효율적으로 해결한 방법에 대해 설명합니다. Feature 생성 및 선정과 실서비스 적용 시 주의했던 점들을 공유합니다. 3. BERT보다 10배 빠른 BERT 모델 구축 @marko.k BERT는 NLP 분야에서 SOTA 모델이지만 학습하는데 많은 시간과 컴퓨팅 리소스가 필요합니다. 기존 BERT 대비 10배 더 빠르게 학습시키고 성능도 더 좋...
딥러닝 · 머신러닝 자연어 처리