![[kt cloud summit 2026] 추론·라우팅 최적화와 토큰 모니터링으로 완성하는 AI 팩토리｜래블업 주식회사 김준기](https://i.ytimg.com/vi/QuKjvN49U2w/maxresdefault.jpg)
[kt cloud summit 2026] 추론·라우팅 최적화와 토큰 모니터링으로 완성하는 AI 팩토리｜래블업 주식회사 김준기
kt cloud Summit 2026 kt cloud · YouTube
AI 핵심 요약
AI 에이전트가 여러 작업을 동시에 수행하면서 추론 인프라의 병목은 GPU뿐 아니라 CPU·메모리·스토리지와 네트워크로 넓어지고, 워크로드별 지연 시간과 처리량 요구도 달라지고 있다. 래블업은 배칭·파이프라이닝·분산 추론과 KV 캐시 최적화의 필요성을 설명하고, Rust 기반 모델 라우터·허브인 Continuum Router & Hub를 개발해 스마트 라우팅과 토큰 모니터링, 조직별 예산·인증 관리를 제공한다고 소개했다. 라우터를 추론 런타임 및 캐시 계층과 연동해야 비용 최적화를 제대로 달성할 수 있으며, 에이전트와 인프라 양쪽을 보호하는 보안도 함께 풀어야 할 과제로 제시했다.
- 에이전트 워크로드는 입력·출력 길이와 응답 시간이 크게 달라지므로, 실시간 대화와 백그라운드 작업을 구분해 서빙 정책을 설계해야 합니다.
- KV 캐시 재사용률과 프리필·디코드 트래픽의 변화는 추론 성능에 큰 영향을 주므로, 캐시 용량과 배치 크기를 함께 조정해야 합니다.
- 모델 라우터는 작업별로 모델을 선택하고 비용·토큰 사용량을 관제하는 계층으로 활용할 수 있습니다.
- 에이전트 보안은 악성 동작의 영향 범위를 줄이는 격리뿐 아니라, 인프라 제공자로부터 민감 정보와 모델을 보호하는 관점도 필요합니다.
소개
☁️ AX 실행은 더 쉽게, 비즈니스 확장은 더 빠르게 ☁️ AX의 현재와 미래를 제시하는 Keynote와 AX 시대에 필요한 인프라 기술 및 서비스 운영 경험을 소개하는 20개 세션의 다시보기 영상을 만나보세요. 👉🏻 행사 홈페이지 바로가기: https://summit.ktcloud.com/replay/summit2026.php
비슷한 학습 자료
컨퍼런스 kt cloud Summit 2026
[kt cloud summit 2026] Dell AI Factory 기반 All-in-One AI 플랫폼 구축 방안｜㈜이테크시스템 AI사업개발부 장성우
컨퍼런스 kt cloud Summit 2026
[kt cloud summit 2026] Physical AI로 진화하는 AIDC 운영: 패널 토론 | kt cloud DC사업담당 박재우 외 3인
컨퍼런스 kt cloud Summit 2026
☁️ AX 실행은 더 쉽게, 비즈니스 확장은 더 빠르게 ☁️ [Physical AI로 진화하는 AIDC 운영: 패널 토론] ❇️패널 토론 연사 ▶️박재우｜kt cloud DC사업담당 상무 ▶️박봉구｜현대오토에버 사업개발센터 상무 ▶️김종철｜KAIST 국가AI연구거점랩 겸임교수 ▶️조규종｜한국산업지능화협회 회장 ❇️사회자 ▶️방재원｜kt cloud AIDC사업개발팀 팀장 AX의 현재와 미래를 제시하는 Keynote와 AX 시대에 필요한 인프라 기술 및 서비스 운영 경험을 소개하는 20개 세션의 다시보기 영상을 만나보세요. 👉🏻 행사 홈페이지 바로가기: https://summit.ktcloud.com/replay/summit2026.php
인공지능 기타
컨퍼런스 kt cloud Summit 2026
[kt cloud summit 2026] Navigating Challenges & Technologies of AIDC Operation｜(주)어니언소프트웨어 조창희
컨퍼런스 kt cloud Summit 2026
[kt cloud summit 2026] 데이터의 가치를 서비스로: 통합 데이터 플랫폼 기반 서비스 확장 전략｜kt cloud Data플랫폼팀 김종민
컨퍼런스 kt cloud Summit 2026
[kt cloud summit 2026] AI를 지키고, AI로 지킨다: AI 라이프사이클 보안｜포티넷시큐리티코리아 SE팀 김수영
컨퍼런스 kt cloud Summit 2026