나만의 프로필 이미지를 만드는 Personalized T2I 모델 개발기 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
카카오는 사용자가 제공한 사진 속 인물을 닮으면서 텍스트 프롬프트에 맞는 프로필 이미지를 만드는 개인화 T2I 모델 ‘콜라주 프로필’을 개발했다. InstantBooth 기반 구조에 CLIP 이미지 인코더와 프로젝션 레이어로 글로벌 임베딩을, 게이티드 셀프 어텐션으로 패치 임베딩을 학습하고, DPO로 인물 생성에 특화한 Diffusion 백본과 아이덴티티 손실을 적용했다. 단일 인물·단일 이미지 데이터에서 생기던 복사·붙여넣기 문제는 한 사람의 여러 이미지로 구성한 데이터와 비디오에서 추출한 다양한 표정·각도 이미지로 완화했으며, Nano와 Essence 모델을 비교해 품질과 생성 시간의 균형도 살폈다. 향후에는 DiT 백본과 포즈·스타일 제어를 연구하는 한편, 워터마크와 위변조 탐지 등 안전 장치를 함께 마련해야 한다고 강조했다.
- 개인화 T2I에서는 인물의 정체성을 보존하면서 프롬프트의 표정·포즈·배경도 반영해야 한다.
- 한 사람의 여러 각도와 표정이 담긴 비디오에서 이미지를 추출하면 단일 이미지 학습의 복사·붙여넣기 문제를 줄일 수 있다.
- 글로벌 임베딩은 얼굴의 전반적인 특징을, 패치 임베딩은 눈·코·입 등 세부 정보를 학습하므로 두 표현을 함께 쓰는 것이 중요하다.
- DPO로 사람 이미지 생성에 특화된 백본을 만들고, 아이덴티티 손실을 추가해 닮음 성능을 보완했다.
- 생성 이미지의 오용을 고려해 가시성·비가시성 워터마크, 얼굴 위변조 탐지, 부적절 프롬프트 필터링을 함께 검토해야 한다.
소개
카카오의 프로필 이미지 생성 기술이 어떻게 탄생했는지 Personalized Text to Image 연구 과정을 소개합니다. 실제 촬영 사진과 같은 고품질 인물 이미지 생성을 목표로 Diffusion 모델의 학습 과정과 평가 방법을 공유하고, 이 과정에서 마주한 도전 과제와 한계점, 향후 목표를 알아봅니다. #Kanana #MultiModal #T2I #이미지생성 카카오의 카나나 알파 조직에서 생성형 모델을 이용해 AI 프로필을 연구하는 Ted입니다. 세상을 변화시키는 AI 모델과 함께 다양한 기술에 관심이 많습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-8 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
if(kakaoAI)2024 카나나알파 리더 김병학(claude.next) 키노트 : Essence of Kanana Model Family 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:46 카카오 서비스에 최적화된 LLM의 조건 03:44 Kanana 모델 소개 05:46 Kanana 모델 특징 07:26 언어모델 소개 13:19 멀티모달 언어모델 소개 18:17 비주얼 생성 모델 소개 19:16 실용적인 서비스로 연결되는 Kanana 모델 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 카카오 AI 통합 브랜드 Kanana를 비롯해 AI 비전, 모델, 그리고 우리의 일상을 바꿀 새로운 AI 서비스를 처음으로 세상에 공개했습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
CTO 키노트 / Kakao AI Native | if(kakaoAI)2024 Day2
컨퍼런스 if kakao
if(kakaoAI)2024 CTO 정규돈(gd.re) 키노트 : Kakao AI Native 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:08 카카오의 AI native 03:20 AI Native 성숙도 4단계 04:00 1단계 탐색 05:49 2단계 적용 06:26 AI Buddy, Code Buddy 22:17 KAP 25:15 AI 포인트 서비스 27:06 3단계 혁신 27:30 4단계 일상 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 카카오 AI 통합 브랜드 Kanana를 비롯해 AI 비전, 모델, 그리고 우리의 일상을 바꿀 새로운 AI 서비스를 처음으로 세상에 공개했습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://if.kakao.com/
AI 코딩 인공지능 기타
컨퍼런스 if kakao
카카오브레인의 텍스트 기반 이미지 생성 기술 소개 / ifkakaodev2022
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
모바일 얼굴인식 SDK 개발 / if(kakao)2022
컨퍼런스 if kakao
딥러닝 기반의 얼굴인식 모델을 처리 성능이 빈약한 모바일 및 전용장비에 적용하기 위한 최적화 방법에 대해서 공유하고자 합니다. #FacialRecognition 카카오엔터프라이즈 비전인텔리전스팀의 앤드루와 포입니다. 얼굴인식을 모바일에 적용하는 일을 하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-68 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 컴퓨터 비전