LLM 추론 시스템 아키텍처
3개 중 0개기존 백엔드 아키텍처 경험을 LLM 추론 시스템에 적용해 모델 선택부터 서빙 경계까지 설계합니다.
-
아직 하지 않은 항목
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024카카오 · if kakao · 컨퍼런스
LLM 추론 비용과 응답 속도를 개선하기 위해 카카오 팀은 자체 인프라의 NVIDIA GPU에서 양자화와 스페큘레이티브 디코딩을 실험했다.
-
아직 하지 않은 항목
Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션네이버 · DAN 2025 · 컨퍼런스
네이버 검색의 여러 태스크에서 범용 LLM만으로는 도메인 지식 부족, 환각, 지연 시간과 비용 문제가 생겼고, 태스크마다 필요한 모델 역량도 달랐습니다.
-
아직 하지 않은 항목
LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조네이버 · DAN 2025 · 컨퍼런스
긴 컨텍스트와 멀티모달 입력이 늘면서 LLM의 어텐션 연산과 KV 캐시가 학습·서빙 비용을 키우는 문제를 짚고, 프리필과 디코딩의 병목 차이를 바탕으로 모델 구조…
