사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
if kakao 카카오 · YouTube
AI 핵심 요약
카카오는 쇼핑·로컬·카카오톡·검색 AI 서비스의 발화를 처리하기 위해 그래프 기반 에이전트를 구축하고, 서비스 특성에 맞춰 DAG, 사이클을 포함한 그래프, 도메인별 에이전트, 탐색과 생성을 분리한 구조로 발전시켰습니다. Kotlin과 Spring WebFlux 기반 에이전트 실행기, 툴 실행기, 여러 LLM 제공사를 연결하는 모델 게이트웨이를 공통 시스템으로 구성했으며, 세부 작업은 서브 LLM에 위임하고 화면용 데이터와 모델 입력 데이터도 분리했습니다. 프롬프트와 그래프를 배포 없이 실험할 수 있도록 버전 관리·시뮬레이션·롤백·폴백 모델을 갖춘 에이전트 빌더를 만들었습니다. 공통 실행 시스템과 빌더를 활용한 결과 카카오 로컬 개발 기간은 쇼핑 개발 때보다 약 50% 단축됐다고 설명하며, 그래프 구조와 운영 도구를 함께 설계하는 것이 서비스 확장과 빠른 실험에 중요하다고 강조했습니다.
- 출력 UI와 흐름을 통제해야 하는 시나리오에는 DAG를 쓰고, 반복적인 도구 탐색이 필요한 경우에는 그래프에 사이클을 허용할 수 있습니다.
- 도메인별 에이전트로 도구를 나누면 각 영역을 독립적으로 최적화하고, 한 모델에 과도한 도구가 주어질 때의 토큰 낭비와 선택 오류를 줄일 수 있습니다.
- 메인 LLM에는 의도 분석과 도구 선택을 맡기고, 쿼리 재작성이나 추천 사유 생성 같은 세부 작업은 서브 LLM에 위임할 수 있습니다.
- 모델 게이트웨이에서 제공사별 요청·응답 형식을 변환하고 토큰 수와 지연 시간을 수집하면 모델 비교와 운영 개선에 활용할 수 있습니다.
- 그래프 빌더에는 시뮬레이션, 버전 관리와 롤백, 워크스페이스별 권한 분리, 장애 시 폴백 모델 같은 운영 기능이 필요합니다.
소개
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
PlayMCP: 카카오 AI 서비스 생태계에 참여하세요
컨퍼런스 if kakao
if(kakao)25 카카오의 AI 생태계의 진입점인 PlayMCP에 대해 상세히 설명드립니다. PlayMCP를 통해 간편히 MCP 서버를 배포하고 카카오 AI 생태계에 참여하여 최고 수준의 AI서비스들과 통합해 보세요. #TECH #PRODUCT #AI #MCP 카카오에서 AI 서비스 생태계 개발을 담당하고 있는 박기태(gt.park)입니다. 최근에는 ChatGPT for Kakao, PlayMCP, 공공AI 프로젝트를 진행하고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=33 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
데이터 뚝딱! AI메이트 메타데이터 생성 비법
컨퍼런스 if kakao
if(kakao)25 카카오톡 선물하기와 카카오맵 데이터를 활용해, AI 메이트 쇼핑/로컬 서비스에서 LLM 기반 메타데이터를 생성한 사례를 소개합니다. #TECH #PRODUCT #LLM #Data 카카오에서 LLM을 활용해 기존 서비스의 데이터 생성을 통해 더 나은 사용자 경험을 만들어가고 있는 한송민(harry.kr)입니다. 카카오에서 적용되는 AI 서비스를 위한 백엔드와 데이터 처리 파이프라인을 만들고 있는 한규주(nick.hann)입니다. 카카오의 기존 서비스에 LLM을 활용한 메타데이터를 생성합니다. 현재는 카카오맵 'AI 요약' 및 'AI 맛집 검색'을 위한 데이터 생성에 집중하고 있는이수인(bom.bom)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=33 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
백엔드 AI에이전트 개발
컨퍼런스 if kakao
카카오 커머스 마케팅의 진화: AI, CRM을 만나다
컨퍼런스 if kakao
if(kakao)25 마케팅의 전 과정을 관리하며 실험을 통해 성과를 극대화하는 플랫폼, Air-CRM을 소개합니다. 데이터와 AI의 잠재력을 비즈니스 성장으로 이끄는 Air-CRM, 그 로드맵을 공유합니다. #TECH #PRODUCT #Data #AI 커머스 커머스에서 Air-CRM 기술기획/개발을 담당하고 있는 국정우(ethan.kay)입니다. 카카오커머스에서 마케팅 플랫폼 Air-CRM을 만들고 운영하고 있는 최란(ellie.ran)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=17 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 프로덕트 지표 · 실험
컨퍼런스 if kakao
카카오i를 통한 AIOT 서비스의 사례와 미래 / if(kakaoAI)2024
컨퍼런스 if kakao
모든 요소기술들을 아우를 수 있는 미래 먹거리로써 사물인터넷에 연결되는 스마트 디바이스와 클라우드 플랫폼, 그리고 서비스에 인공지능이 접목된 지능화된 사물인터넷(Artificial Intelligence of Things, AIoT)이 부각되는 시대. 사람과 사물이 경계없이 연결하기 위한 카카오i의 AIOT플랫폼의 구조와 현재, 방향, 고민에 대해 공유합니다. #AIoT 디케이테크인의 AI공통플랫폼팀에서 kakaoi 대화형플랫폼 개발을 하고 있는 Ramsy와 Tristan입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-2 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
인공지능 기타 네트워크