클로바노트의 두뇌: NAVER의 End-to-End 음성인식 엔진 소개
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
클로바노트의 핵심인 음성인식 엔진을 만들며, 전통적인 여러 알고리즘의 조합 대신 신경망이 음성을 텍스트로 직접 변환하는 End-to-End ASR을 구축한 과정을 소개했다. 정확한 전사 데이터의 구축 비용을 줄이기 위해 wav2vec 2.0 방식의 자기지도 학습으로 Transformer 인코더를 학습한 뒤, CTC·RNN-T 등의 구조와 지도 학습을 결합해 인식기를 완성했다. 문맥을 반영하는 언어 모델을 빔 서치에 결합하고, 키워드 부스팅과 구두점·간투어 후처리, 병렬 디코딩 및 타임 얼라인먼트 같은 기능을 더해 서비스에 적용했다. 클로바노트와 자동 자막, 의료·쇼핑 등 도메인별 서비스 사례를 통해 데이터와 모델뿐 아니라 디코딩 효율, 잡음 대응, 개인화와 자동 전사도 계속 풀어야 할 과제라고 설명했다.
- CTC, RNN-T 등 여러 End-to-End 구조가 있지만, 공통으로 쓰이는 Transformer 인코더를 잘 학습하는 것이 성능에 중요하다.
- 전사 데이터는 정확도가 핵심이지만 구축 비용이 크므로, 음성만으로 표현을 학습하는 자기지도 학습을 활용할 수 있다.
- 자기지도 학습은 학습이 불안정할 수 있어 웜업 스케줄러와 음성 구간 검출(VAD), 멀티 GPU 학습 등을 함께 고려한다.
- 빔 서치에서 언어 모델을 결합할 때 음향 모델과 토큰 단위가 다르면 문제가 생기므로, 글자 단위와 단어 단위 언어 모델을 나눠 적용할 수 있다.
- 키워드 부스팅, 타임 얼라인먼트, 신뢰도 추정과 후처리는 인식 결과의 활용성과 가독성을 높이는 데 쓰인다.
소개
[DEVIEW 2023] * 발표자 : 정민규, 김한규(NAVER Cloud) * 발표제목 : 클로바노트의 두뇌: NAVER의 End-to-End 음성인식 엔진 소개 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
눈으로 보며 듣는 음성 기록, 클로바노트 서비스의 웹 기술 톺아보기
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
HyperCLOVA 요약 서비스: Long-Form Open-Domain Dialogue Summarization
컨퍼런스 DAN 2024
[ENG][DAN 24] KEYNOTE 03: HyperCLOVA X
컨퍼런스 DAN 2024
TEAM NAVER CONFERENCE DAN 24 KEYNOTE 03 HyperCLOVA X: Expansion of Fundamental Technology Introducing how HyperCLOVA X is evolving and share the significance of developing our 'own' technology, including the objectives we are striving to achieve. - To view English subtitles, please select English in the subtitle settings. - Learn more about DAN 24: https://dan.naver.com
딥러닝 · 머신러닝
컨퍼런스 DAN 2023
[TEAM NAVER CONFERENCE DAN 23] OPENING KEYNOTE : NAVER AI PIONEERING TECHNOLOGY FOR EVERYONE
컨퍼런스 DAN 2023
[TEAM NAVER CONFERENCE DAN 23] NAVER's generative AI, HyperCLOVA X, was unveiled at DAN 23. Discover the game-changing technologies showcased at DAN 23, including enhanced NAVER search, innovative NAVER shopping solutions, and much more. Check out our session-by-session videos. 🔗 Learn more about DAN 23 : https://campaign.naver.com/dan23_en/
인공지능 기타
컨퍼런스 DAN 2023
[TEAM NAVER CONFERENCE DAN 23] NAVER's generative AI, HyperCLOVA X, was unveiled at DAN 23. Discover the game-changing technologies showcased at DAN 23, including enhanced NAVER search, innovative NAVER shopping solutions, and much more. Check out our session-by-session videos. 🔗 Learn more about DAN 23: https://campaign.naver.com/dan23_en/
인공지능 기타