Virtual influencer를 위한 face swapping 기술 개발기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
가상 인플루언서용 디지털 휴먼을 만들려면 대역배우 영상의 표정과 각도는 유지하면서 얼굴 정체성만 바꾸는 고품질 페이스 스와핑이 필요했다. 카카오브레인 연구진은 사전 학습된 StyleGAN을 활용하는 GAN inversion 기반 모델 MFIM을 만들고, 레퍼런스 이미지의 코드와 공간 맵을 추출해 세그멘테이션 모델 없이도 머리카락과 주변 디테일을 보존하도록 개선했다. 또 3DMM 파라미터로 얼굴형은 ID 이미지에, 표정과 포즈는 레퍼런스 이미지에 맞추도록 학습해 메가픽셀 이미지 생성과 비디오 페이스 스와핑을 구현했다. 발표에서는 이 기술이 대역배우 영상에 적용되어 자연스러운 얼굴 교체를 수행하는 사례를 보였으며, 이미지 품질뿐 아니라 속성별 정보 분리와 비디오 파이프라인이 중요하다는 점을 설명했다.
- GAN inversion은 사전 학습된 StyleGAN의 생성 품질을 활용해 입력 이미지를 재구성하고 편집하는 접근이다.
- 레퍼런스 이미지에서 코드와 공간 맵을 함께 추출하면 머리카락이나 배경 같은 세부 영역을 세그멘테이션 마스크 없이 보존하는 데 도움이 된다.
- 3DMM의 shape, pose, expression 파라미터를 활용해 얼굴형은 ID 이미지에서, 표정과 각도는 레퍼런스 이미지에서 가져오도록 학습할 수 있다.
- 비디오 페이스 스와핑은 전처리, 얼굴 교체, 후처리 파이프라인으로 구성해 프레임 간 자연스러움을 다뤄야 한다.
소개
카카오브레인에서 개발한 face swapping 기술을 소개합니다. #DigitalHuman #GenerativeModel 카카오브레인 Digital Human Studio 에서 딥러닝 기반 생성 모델을 연구하고 있는 Orca입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-17 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
Media 가속기를 통해 저지연 멀티스트림 트랜스코딩을 달성하고 실시간 스트리밍하는 사례를 공유합니다. AI 가속기를 통해 영상에 Vision AI를 적용하여 스트리밍하는 방법을 소개합니다. #ML #Vison #Cloud #Video Streaming 카카오엔터프라이즈에서 Vision AI 관련 서비스를 개발하고 있는 Mjkim입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-21 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
컴퓨터 비전 클라우드
컨퍼런스 if kakao
카카오의 프로필 이미지 생성 기술이 어떻게 탄생했는지 Personalized Text to Image 연구 과정을 소개합니다. 실제 촬영 사진과 같은 고품질 인물 이미지 생성을 목표로 Diffusion 모델의 학습 과정과 평가 방법을 공유하고, 이 과정에서 마주한 도전 과제와 한계점, 향후 목표를 알아봅니다. #Kanana #MultiModal #T2I #이미지생성 카카오의 카나나 알파 조직에서 생성형 모델을 이용해 AI 프로필을 연구하는 Ted입니다. 세상을 변화시키는 AI 모델과 함께 다양한 기술에 관심이 많습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-8 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝
컨퍼런스 if kakao
카카오브레인의 텍스트 기반 이미지 생성 기술 소개 / ifkakaodev2022
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
사진편집기! 이것DOM 적용해볼GL? / if(kakao)2022
컨퍼런스 if kakao
새로운 사진편집기에 WebGL을 적용하고, 공용 컴포넌트를 개발하면서 마주했던 선택과 문제 해결과정을 공유합니다. #WebGL 더 멋진 카카오의 에디터를 위해 노력합니다. 카카오 FE플랫폼팀 스카이입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-79 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
웹 개발 프론트엔드
컨퍼런스 if kakao
모바일 얼굴인식 SDK 개발 / if(kakao)2022
컨퍼런스 if kakao
딥러닝 기반의 얼굴인식 모델을 처리 성능이 빈약한 모바일 및 전용장비에 적용하기 위한 최적화 방법에 대해서 공유하고자 합니다. #FacialRecognition 카카오엔터프라이즈 비전인텔리전스팀의 앤드루와 포입니다. 얼굴인식을 모바일에 적용하는 일을 하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-68 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 컴퓨터 비전