![[팀네이버 컨퍼런스 DAN25] Papago Speech Translation을 소개 합니다](https://i.ytimg.com/vi/uU-pWGk2js8/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] Papago Speech Translation을 소개 합니다
DAN 2025 네이버 · YouTube
AI 핵심 요약
ASR과 기계번역을 순차 연결하는 Cascade 방식은 전사 오류가 번역에 전파되고 두 모델의 학습·운영을 따로 관리해야 하는 문제가 있어, Papago는 음성에서 번역문을 직접 생성하는 End-to-End Speech Translation을 구축했다. 인코더-디코더와 Speech LLM 구조를 활용하고, ASR·ST 공동 학습, 다국어 학습, 음성·텍스트 모달리티 정렬을 결합해 학습 안정성과 번역 품질을 높였다. 병렬 데이터 부족은 Papago MT와 Clova TTS를 이용한 데이터 증강으로 보완하고, 노이즈 증강과 정렬 기반 필터링·구두점 보완을 적용했으며, DPO로 사람의 선호를 반영해 노이즈 환경과 고유명사 번역을 개선했다. 완성된 모델은 Papago Plus의 실시간 스트리밍 및 파일 배치 번역에 적용했으며, 모델뿐 아니라 데이터 처리와 서빙 파이프라인을 함께 설계해야 한다는 점을 공유했다.
- ASR과 번역을 함께 학습하면 전사 오류가 번역 단계에서 확대되는 문제를 줄이고, 음성의 문맥을 직접 활용할 수 있다.
- ASR·ST를 함께 학습해 초기 수렴을 돕고, 다국어 학습으로 억양·방언과 드문 고유명사에 대한 일반화를 높일 수 있다.
- 음성 데이터가 부족할 때 ASR 데이터에 Papago MT 번역을 붙이거나 MT 데이터에 Clova TTS 음성을 생성해 학습 데이터를 확장한다.
- 음성과 전사의 불일치를 필터링하고 구두점을 보완하는 데이터 정제가 모델의 생략·환각을 줄이는 데 중요하다.
- DPO 선호도 데이터에는 노이즈와 난도가 있는 사례를 포함하고, SFT 손실 비중을 낮춰 과적합을 완화한다.
소개
[팀네이버 컨퍼런스 DAN25] Papago Speech Translation을 소개 합니다 본 세션에서는 파파고의 최신 서비스 기술 피쳐인 음성번역을 소개 합니다. Papago 음성번역 서비스에 적용된 End-to-end Speech Translation 모델의 핵심 기술과 실제 구현 과정에서 얻은 노하우를 공유합니다. 목차 1. Speech Translation이란? - 음성 번역 개요 - End-to-End와 Cascade 모델 비교 2. Model Architecture and Training - Multi Task Learning - Multi Lingual Learning - Multi Modal Learning 3. Data Processing - Data Augmentation - Noise Augmentation - Data Cleansing 4. 선호도 기반 최적화 - DPO...
비슷한 학습 자료
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 사용자의 목소리를 AI로 재현하다: LLM 기반 Multi Agent UX 플랫폼 개발기 “사용자에 진심인 3명이 모여, Persona가 말하게 만들다.” 이 세션은 잘 만든 AI 시스템을 넘어, 디자이너·AI 리서처·개발자가 경험한 AI 시대의 협업 가능성을 제안합니다. 사용자 페르소나봇 NSona의 기획부터 구현, 평가까지 전 과정을 공유합니다. AI로 사용자 리서치 데이터를 실시간 협업 자원으로 전환하며, Multi-Party 대화 시스템에서 사용자와 함께 일하는 방식을 실험했습니다. 세 명은 함께 AI를 만들며 역할과 협업 구조가 바뀌는 경험을 했습니다. 디자이너는 프롬프트를 설계하고, 리서처는 로직을 에이전트 구조로 바꾸었으며, 프론트 개발자는 AI를 비평 대상으로 다뤘습니다. 중요한 건 ‘어디까지 만들었느냐’가 아니라 ‘어디서 시작점을 찍느냐’임을 깨달았습니다. 참석자분들께서 창의적, 기술적 인사이트와 함께 자신만의 AI 협업 모델을...
AI에이전트 개발 UI/UX
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화 본 세션에서는 생성형 AI를 활용하여 네이버 검색 결과를 요약 제공하는 AI브리핑 서비스를 소개하고, 서비스 출시 과정의 기술과 노하우를 공유합니다. 서비스를 구성하는 컴포넌트별로 필요한 LLM 모델을 튜닝하고, 파이프라인을 구축하여 서빙하는 과정, 그리고 서비스별 니즈를 만족시키기 위해 특화된 LLM모델링 및 프롬프트 엔지니어링을 수행하는 과정들에 대해 공유합니다. 목차 1. AI브리핑 소개 - 검색과 AI의 만남 - AI브리핑 시스템 overview - AI브리핑의 다양한 라인업 및 성과 2. AI브리핑 시스템 들여다보기 - AI브리핑을 위한 검색 시스템 소개 - 지속가능한 모델 개선 파이프라인 - AI브리핑 등장 후 네이버 검색 품질의 변화 3. 서비스 특화된 AI브리핑 - 다양한 사용자의 요구를 만족하기 위한 차별화된 시도 - Docume...
AI에이전트 개발 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지 이번 세션은 네이버 플레이스 AI Briefing 생성의 기술적 파이프라인을 다룹니다. Retrieval - Reranking - Summarization 구조를 중심으로 탐색형·정답형·정보형 태스크 차이를 설명하고, 텍스트와 이미지 정보를 요약하는 방법을 소개합니다. 구체적으로 Text Encoder·Reranker·Multi-modal Encoder의 데이터셋 구축, 모델 선택과 학습 방법론, 도메인 특화 모델 평가 사례, 그리고 ICL·Distillation 기반 요약 기법을 공유합니다. 마지막으로 서비스 적용 경험을 토대로 효율 최적화, 대형·경량 모델 조합 등 실무 전략을 제시합니다. 이 과정을 통해 얻은 통찰이 더 나은 서비스 설계와 발전 방향을 모색하는 데 기여하길 바랍니다. 목차 1. Overview - Place AI Briefing - 서비스 설명과 사례 ...
컴퓨터 비전 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Multi-AI Agent 개발: 레퍼런스 아키텍처와 구현 전략
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Multi-AI Agent 개발: 레퍼런스 아키텍처와 구현 전략 이 세션에서는 Multi-Agent 시스템의 개념부터 실제 구축과 활용 사례까지를 폭넓게 다루며, 다양한 프레임워크와 아키텍처 설계를 통해 얻은 경험과 노하우를 공유합니다. 단일 에이전트의 한계를 극복하기 위해 여러 에이전트가 협력하는 구조를 어떻게 설계할 수 있는지, Supervisor와 Swarm을 통한 조율 방식은 어떤 차이가 있는지, 그리고 효율을 높이기 위해 어떤 프레임워크를 선택해야 하는지에 대해 구체적으로 살펴봅니다. 실제 구축 과정에서 직면했던 문제들과 그 해결 방법, 로그 분석과 RAG 기반 질의응답 정확도 향상을 위해 도입한 다양한 접근 방식, 그리고 여러 차례의 시행착오 끝에 정리된 아키텍처 설계 팁을 공유합니다. #DAN #DAN25 #TEAMNAVERCONFERENCE
AI에이전트 개발
컨퍼런스 엔지니어링데이 2025
사용자의 목소리를 AI로 재현하다: LLM기반 Multi Agent UX플랫폼 개발기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. 해당 발표는 팀네이버 컨퍼런스 DAN25 홈페이지(https://dan.naver.com/25/sessions/699)에서도 살펴보실 수 있습니다. [발표 내용] “사용자에 진심인 3명이 모여, Persona가 말하게 만들다” 이 세션은 잘 만든 AI 시스템을. 넘어, 디자이너·AI 리서처·개발자가 경험한 AI 시대의 협업 가능성을 제안합니다. 사용자 페르소나봇 NSona의 기획부터 구현, 평가까지 전 과정을 공유합니다. AI로 사용자 리서치 데이터를 실시간 협업 자원으로 전환하며, Multi-Party 대화 시스템에서 사용자와 함께 일하는 방식을 실험했습니다. 세 명은 함께 AI를 만들며 역할과 협업 구조가 바뀌는 경험을 했습니다. 디자이너는 프롬프트를 설계하고, 리서처는 로직을 에이전트 구조로 바꾸었으며, 프론트 개발자는 AI를 비평 대상으로 다뤘습니다. 중요한 건...
AI에이전트 개발 UI/UX