AI 플랫폼 하드웨어부터 코드까지: GPU, LLMOps, Agentic Coding으로 완성하는 AI 플랫폼
if kakao 카카오 · YouTube
AI 핵심 요약
반복적인 모델 학습과 수동 배포, GPU 자원 낭비를 줄이기 위해 온프레미스 쿠버네티스 환경에 Kubeflow 기반 AI 플랫폼을 구축했다. H200 GPU 클러스터에 RDMA·InfiniBand, 멀티 CNI와 SR-IOV를 적용하고, 모델 배포와 GPU 할당·모니터링을 자동화해 배포 시간을 최대 두 시간에서 수분 내외로 줄였다. 이어 VS Code Copilot 에이전트로 플랫폼을 개발하면서 아키텍처와 프로젝트 지침을 먼저 정하고, 단계별로 프롬프트를 구체화해 개발 기간을 예상 6개월에서 약 2.5개월로 단축했다고 설명했다. 두 발표의 공통된 교훈은 도구를 도입하는 데 그치지 않고 서비스의 지연·비용·보안 요구에 맞게 자원을 설계하며, AI가 만든 결과는 개발자가 지속적으로 검토하고 책임져야 한다는 점이다.
- 반복적인 모델 학습·배포 작업을 줄이기 위해 기존 쿠버네티스 운영 환경과 일관성을 갖춘 Kubeflow를 선택했다.
- H200 GPU의 데이터 처리 병목을 줄이려면 RDMA와 InfiniBand를 활용하고, 멀티 CNI와 SR-IOV로 쿠버네티스 네트워크에 통합할 수 있다.
- 서버리스의 스케일 투 제로는 비용을 아끼지만 콜드 스타트가 서비스 요구사항에 맞지 않을 수 있으므로 최소 복제본 정책을 함께 검토해야 한다.
- 에이전트 코딩에서는 프로젝트 지침과 구체적인 파일·함수 경로를 제공하고, 코드가 복잡해질수록 생성 결과를 자주 확인하며 지시를 세분화한다.
- AI가 반복해서 헤매거나 불필요한 코드를 남기는 현상은 코드 구조를 점검할 신호일 수 있으며, 개발자가 검토와 정리를 맡아야 한다.
소개
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
안녕하세요. 카카오테크를 이끌고 있는 CTO, 정규돈(gd.re) 입니다. AI 네이티브로의 전환 여정에서 펼쳐진 다양한 실험과 교훈을 공유하고, AI 시대를 살아가는 엔지니어들의 확장된 역할과 새로운 기회를 함께 모색합니다. 👇핵심만 골라보기👇 00:00 인트로 02:50 AI 시대의 생존과 성장 09:50 AI Native 전환 25:55 새로운 시대의 생산성, 어떻게 바라볼 것인가 31:55 AI 시대, 개발자의 미래 가능성, 일상이 되다 if(kakao)25 📎 if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI 코딩 인공지능 기타
컨퍼런스 if kakao
화면을 이해하고 행동하는 AI - GUI Agent 개발기
컨퍼런스 if kakao
if(kakao)25 멀티모달 언어모델을 활용해 브라우저 화면을 이해하고 자동으로 조작하는 에이전트 모델의 개발 과정을 소개합니다. #TECH #AI #Multimodal 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 기대환(dion.g)입니다. 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 홍은빈(erin.hh)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=51 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 컴퓨터 비전
컨퍼런스 if kakao
GenAI를 위한 Gateway
컨퍼런스 if kakao
if(kakao)25 LLM Inference 환경을 제공하기 위해서 필요한 Gateway가 전통적인 워크로드와 어떻게 다른지, 왜 새로운 고민이 필요한지 살펴보고, 새로운 기술 동향에 대해서 소개합니다. #TECH #AI #LLM 카카오에서 AI 플랫폼을 개발하는 최정운(cozy.choi)입니다. AI 추론에 특히 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=55 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 인공지능 기타
컨퍼런스 if kakao
AI Coding Agent: 실험을 통해 확인한 생산성 그 이상의 가능성
컨퍼런스 if kakao
if(kakao)25 ‘바이브코딩’에서 시작된 새로운 개발 패러다임, 카카오의 프로덕션 환경에서도 통했을까요? 카카오의 생생한 실험 과정을 통해 무엇을 증명했고, 어떤 통찰을 얻었는지 확인하실 수 있습니다. #TECH #AI #Agent AI와 함께 일하는 새로운 방식을 탐구하며, 카카오의 AI-Native 전환을 위한 전략과 실행을 이끌어가는 Vibeworker 이호정(benedict.lee)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=53 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI 코딩 AI에이전트 개발 로드맵 1개에 담김
컨퍼런스 if kakao
카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
컨퍼런스 if kakao
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
모바일 앱 개발 딥러닝 · 머신러닝
컨퍼런스 if kakao
사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
컨퍼런스 if kakao
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발