카카오브레인의 텍스트 기반 이미지 생성 기술 소개 / ifkakaodev2022
if kakao 카카오 · YouTube
AI 핵심 요약
카카오브레인은 텍스트 기반 이미지 생성 모델을 서비스에 적용할 때의 추론 비용과 생성 속도 문제를 해결하기 위해, CLIP과 확산 모델을 결합한 생성 구조를 설계했습니다. 텍스트·이미지 특징을 활용하는 사전 모델과 디코더를 구성하고, 초해상도 단계의 마지막 모델을 지각 손실 및 적대적 손실과 함께 학습해 7스텝으로 고해상도 이미지를 복원하는 방식을 소개했습니다. 이어 RQ-VAE와 RQ 트랜스포머, 계층적 HQ-VAE, 양방향 초안·보정 모델을 통해 잠재 표현을 줄이고 이미지 생성 속도와 품질을 개선한 연구를 설명했습니다. 발표는 생성 모델을 실제 서비스에 적용하려면 이미지 품질뿐 아니라 샘플링 단계와 컴퓨팅 비용을 함께 최적화해야 한다는 점을 보여줍니다.
- 확산 모델의 추론 비용은 샘플링 스텝 수와 고해상도 복원 방식에 크게 좌우되므로, 서비스 요구에 맞춰 구조를 설계해야 합니다.
- 초해상도 모델의 마지막 단계만 별도로 학습하고 지각 손실과 적대적 손실을 함께 쓰면 적은 스텝으로 고주파 디테일을 복원할 수 있습니다.
- RQ-VAE는 잔차 양자화를 여러 단계 적용해 작은 잠재 표현에서도 이미지 복원 품질을 유지하는 방법입니다.
- 계층적 코드 표현은 전체 구도와 세부 정보를 나눠 생성할 수 있어, 코드 생성의 병렬화와 속도 개선에 활용할 수 있습니다.
- 자기회귀 생성의 순차 처리 한계를 줄이려면 양방향 문맥을 활용한 초안 생성과 반복 보정 방식을 고려할 수 있습니다.
소개
카카오브레인에서 개발한 텍스트 기반 이미지 생성 기술을 소개합니다 #GenerativeModel 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-18 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
카카오의 프로필 이미지 생성 기술이 어떻게 탄생했는지 Personalized Text to Image 연구 과정을 소개합니다. 실제 촬영 사진과 같은 고품질 인물 이미지 생성을 목표로 Diffusion 모델의 학습 과정과 평가 방법을 공유하고, 이 과정에서 마주한 도전 과제와 한계점, 향후 목표를 알아봅니다. #Kanana #MultiModal #T2I #이미지생성 카카오의 카나나 알파 조직에서 생성형 모델을 이용해 AI 프로필을 연구하는 Ted입니다. 세상을 변화시키는 AI 모델과 함께 다양한 기술에 관심이 많습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-8 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝
컨퍼런스 if kakao
Beyond Korea(Company for Global) / if(kakao)2022
컨퍼런스 if kakao
카카오브레인은 초거대 멀티모달 AI(Large-scale Multi-Modal AI) 를 기반으로 구현한 두가지 핵심 서비스인 AI 이미지 크리에이터 ‘B^ DISCOVER’, AI 헬스케어 ‘B^ HEALTHCARE’를 소개합니다. ‘B^ DISCOVER’는 상상할 수 없었던 이미지를 구현하는 T2I(Text to Image) 서비스로 7억건 이상의 텍스트-이미지 Coyo 데이터셋으로 학습하고, 30억 파라미터 이상의 뉴럴 네트워크 모델로 학습한 Karlo 모델이 반영되어 있습니다.내년에는 전문가용 저작 도구로 공개될 예정입니다. ‘B^ HEALTHCARE’는 판독 효율성을 향상시킬 수 있는 AI CAD (Computer Aided Diagnosis)와 기존 프로세스를 근원적으로 개선할 수 있는 대규모 컴퓨팅을 통한 AI 신약개발 플랫폼을 개발하고 있습니다. 카카오브레인은 생각하지 못한 물음(Unthinkable Question)으로 부터 기술을 발전시키고, 모두의 생활...
컴퓨터 비전
컨퍼런스 if kakao
카카오브레인에서 개발한 face swapping 기술을 소개합니다. #DigitalHuman #GenerativeModel 카카오브레인 Digital Human Studio 에서 딥러닝 기반 생성 모델을 연구하고 있는 Orca입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-17 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset / if(kakao)2022
컨퍼런스 if kakao
카카오브레인에서 공개한 7억개 이미지-텍스트 데이터셋을 소개합니다 #DataSet #Large-scale 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-20 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전