카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
if kakao 카카오 · YouTube
AI 핵심 요약
카카오톡에서 개인정보를 기기 안에서 처리할 수 있도록 아이폰용 온디바이스 언어 모델을 적용하면서, 배터리·발열·메모리 제약과 서버 모델을 모바일 프레임워크로 옮기는 문제를 다뤘다. MLX와 MLX-LM을 활용하고 GPTQ·LLM Compressor 등으로 양자화한 모델을 MLX에서 쓸 수 있도록 SafeTensors를 분석해 변환 도구와 텐서 조립 파이프라인을 직접 만들었다. 이를 통해 양자화 방식과 레이어별 정밀도를 조합해 실험했으며, 약 2비트 모델의 벤치마크에서 8비트·4비트 양자화 모델의 성능 저하가 크지 않음을 확인했다. Core ML과 Apple Neural Engine도 시험해 MLX보다 생성 속도는 느렸지만, 반복 실행에서 CPU·GPU를 쓰지 않는 선택지가 될 수 있으며 사용 패턴에 따라 프레임워크를 골라야 한다고 설명했다.
- 모바일에서는 배터리·발열·메모리 제약을 고려해 모델 크기와 실행 프레임워크를 함께 선택해야 한다.
- 양자화는 비트 수뿐 아니라 그룹 크기와 스케일·제로 포인트 저장 방식에 따라 모델 용량과 정확도가 달라진다.
- 프레임워크 간 변환 시 텐서 이름, 축 순서, 양자화 메타데이터가 다를 수 있으므로 가중치 형식을 직접 확인해야 한다.
- 텐서를 분리·조립하는 파이프라인을 만들면 레이어별 양자화와 혼합 정밀도 조합을 실험하기 쉽다.
- MLX와 Core ML은 실행 특성이 다르므로 최초 컴파일 시간, 반복 실행 여부, CPU·GPU 사용 필요성을 기준으로 선택한다.
소개
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
화면을 이해하고 행동하는 AI - GUI Agent 개발기
컨퍼런스 if kakao
if(kakao)25 멀티모달 언어모델을 활용해 브라우저 화면을 이해하고 자동으로 조작하는 에이전트 모델의 개발 과정을 소개합니다. #TECH #AI #Multimodal 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 기대환(dion.g)입니다. 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 홍은빈(erin.hh)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=51 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 컴퓨터 비전
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
데이터 뚝딱! AI메이트 메타데이터 생성 비법
컨퍼런스 if kakao
if(kakao)25 카카오톡 선물하기와 카카오맵 데이터를 활용해, AI 메이트 쇼핑/로컬 서비스에서 LLM 기반 메타데이터를 생성한 사례를 소개합니다. #TECH #PRODUCT #LLM #Data 카카오에서 LLM을 활용해 기존 서비스의 데이터 생성을 통해 더 나은 사용자 경험을 만들어가고 있는 한송민(harry.kr)입니다. 카카오에서 적용되는 AI 서비스를 위한 백엔드와 데이터 처리 파이프라인을 만들고 있는 한규주(nick.hann)입니다. 카카오의 기존 서비스에 LLM을 활용한 메타데이터를 생성합니다. 현재는 카카오맵 'AI 요약' 및 'AI 맛집 검색'을 위한 데이터 생성에 집중하고 있는이수인(bom.bom)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=33 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
백엔드 AI에이전트 개발
컨퍼런스 if kakao
사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
컨퍼런스 if kakao
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발
컨퍼런스 if kakao
필요한 순간 먼저 말을 걸어주는 온디바이스 AI
컨퍼런스 if kakao
if(kakao)25 내 폰 안에서 AI의 도움이 필요한 대화 맥락을 감지하고, 꼭 필요한 순간 먼저 말을 걸어주는 카카오톡만의 온디바이스 AI 개발 과정을 공유합니다. #TECH #PRODUCT #AI #Agent 카카오톡에 적용되는 AI 서비스들을 기획하고 있는 김강학(chris.kh)입니다. 카카오톡에 적용되는 AI 서비스들의 모델 개발을 맡고 있는 김다인(denver.in)입니다. AI 서비스를 위한 다양한 모델 개발을 진행하고 있는 민규식 (queue.min)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=23 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리