화면을 이해하고 행동하는 AI - GUI Agent 개발기
if kakao 카카오 · YouTube
AI 핵심 요약
브라우저 화면을 이해하고 클릭·스크롤·입력으로 작업을 수행하는 GUI 에이전트를 만들기 위해, 카카오 연구진은 VLM의 그라운딩과 플래닝 능력을 함께 학습하는 데이터셋과 모델을 구축했습니다. 공개 데이터셋의 포맷과 액션 공간을 통합하고, 잘못된 좌표나 모호한 작업을 정제했으며, 휴먼 레이블링으로 한국 웹사이트 데이터를 추가했습니다. 학습에서는 좌표계를 일관되게 유지하고 히트맵 기반 소프트 타깃과 검증 가능한 보상을 활용한 RLVR을 적용해 그라운딩 성능을 개선했으며, 플래닝은 SFT 데이터 모방 학습으로 평가했습니다. 다만 한국 특화 도메인 지식과 장기 기억·실패 반성·외부 도구 연동은 남은 과제로 제시했습니다.
- 서로 다른 GUI 데이터셋은 포맷과 액션 공간을 통일한 뒤 학습에 활용하세요.
- 초기 모델의 예측과 기존 라벨을 비교하고, 고성능 언어 모델로 오류·모호 샘플을 판별해 데이터 품질을 높일 수 있습니다.
- 좌표를 학습할 때는 베이스 모델과 학습 데이터의 좌표계를 일치시키는 것이 중요합니다.
- 단일 정답 좌표 대신 히트맵 기반 소프트 타깃을 사용하면 클릭 가능한 영역을 분포로 학습할 수 있습니다.
- RLVR은 좌표 자체가 아니라 클릭 성공 여부처럼 검증 가능한 결과에 보상을 주며, 좋은 SFT 모델을 출발점으로 삼았습니다.
소개
if(kakao)25 멀티모달 언어모델을 활용해 브라우저 화면을 이해하고 자동으로 조작하는 에이전트 모델의 개발 과정을 소개합니다. #TECH #AI #Multimodal 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 기대환(dion.g)입니다. 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 홍은빈(erin.hh)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=51 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
AI Coding Agent: 실험을 통해 확인한 생산성 그 이상의 가능성
컨퍼런스 if kakao
if(kakao)25 ‘바이브코딩’에서 시작된 새로운 개발 패러다임, 카카오의 프로덕션 환경에서도 통했을까요? 카카오의 생생한 실험 과정을 통해 무엇을 증명했고, 어떤 통찰을 얻었는지 확인하실 수 있습니다. #TECH #AI #Agent AI와 함께 일하는 새로운 방식을 탐구하며, 카카오의 AI-Native 전환을 위한 전략과 실행을 이끌어가는 Vibeworker 이호정(benedict.lee)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=53 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI 코딩 AI에이전트 개발 로드맵 1개에 담김
컨퍼런스 if kakao
카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
컨퍼런스 if kakao
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
모바일 앱 개발 딥러닝 · 머신러닝
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
컨퍼런스 if kakao
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발