커스텀 음성 합성: 1문장 녹음으로 1초만에 커스텀 음성 합성기 만들기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
기존 TTS는 새 화자를 추가할 때 화자별 모델을 다시 훈련하거나 다화자 모델을 업데이트해야 해 많은 녹음 데이터와 관리 비용이 들었다. 이를 줄이기 위해 화자 임베딩을 일부만 조정하는 적응 기반 방식과, 참조 음성에서 화자 특성을 추출하는 스피커 인코더 기반 제로샷 방식을 설명했다. 카카오엔터프라이즈의 데모에서는 한 문장 녹음만으로 새 화자의 음성을 합성했으며, 제로샷 방식은 화자별 추가 훈련 없이 목소리를 적용할 수 있음을 보였다. 다만 적응 기반은 추가 학습·저장 비용이 들고, 제로샷은 스피커 인코더의 구조와 학습 방법이 성능을 좌우한다.
- 다화자 TTS는 화자 임베딩과 공유 인코더·디코더를 활용해 화자별 데이터 요구량을 줄인다.
- 적응 기반 방식은 일부 파라미터만 미세 조정해 기존 화자의 합성 결과에 미치는 영향을 막는다.
- 제로샷 방식은 스피커 인코더가 참조 음성에서 화자 특성을 추출하므로 새 화자별 추가 학습이 필요 없다.
- 적응 기반은 저장 공간과 GPU 학습이 필요하고, 제로샷은 참조 음성 품질과 스피커 인코더 설계가 중요하다.
소개
카카오엔터프라이즈에서는 커스텀 음성 합성 기술을 사용하여 1개의 문장만 가지고 그 사람의 목소리로 합성음을 만들 수 있습니다. 본 세션에서는 커스텀 음성 합성이 기존 음성합성과 달리, 소용량 데이터만으로 목소리 추가를 가능케하는 근본적인 이유를 선보이고, 간단한 배경 기술 설명과 데모를 선보입니다. #Speech #TTS 카카오엔터프라이즈 voice interface 팀의 론다입니다. 극소량의 데이터로 고품질 커스텀 음성 합성기를 만드는 연구를 하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-69 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
컨퍼런스 if kakao
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
모바일 앱 개발 딥러닝 · 머신러닝
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
딥(Deep)하게 오타 교정하기 / if(kakao)2022
컨퍼런스 if kakao
사용자에게 양질의 검색 결과를 제공하기 위해서는 검색어 교정이 필요합니다. 이번 발표에서는 딥러닝 모델을 이용한 검색어 오타 교정 방법과 저희가 고민했던 부분들을 소개합니다. #NLP #검색 카카오 엔터프라이즈 AI Assistant팀 다니엘입니다. 텍스트와 발화의 오타 교정 업무를 담당하고 있습니다. 데이터 관찰을 좋아하는 개발자입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-72 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
Preview AI_2 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. AI 장면 분석을 통한 비디오 인코딩 최적화 @darren.thkim 동영상 인코딩을 위한 최적의 설정을 어떻게 찾을 수 있을까요? AI를 활용한 인코딩 최적화의 실제 사례를 중심으로 최적화와 분산 인코딩에 대해서 알아봅시다. 2. DFerence, 클라우드 기반 AI 서빙 플랫폼 @bran.p 맨땅에서부터 k8s를 사용하여 GPU shared inference Platform 을 만든 과정에서 얻은 경험과 지식을 공유합니다. 3. 카카오엔터프라이즈 딥러닝 음성 합성 기술 @jeff.rey @taylor.martin @satoshi.2020 카카오엔터프라이즈에서는 더욱 자연스럽고 고품질의 음성을 만들어내기 위한 음향 모델과 보코더 기술을 개발하였습니다. 또한, 보다 사람 같은 음성합성을 위한 스타일 변환 기술도 소개합니다. 4. Tips for transfer learning @mic...
데브옵스 · 인프라 딥러닝 · 머신러닝 컴퓨터 비전