파파고의 빨간펜 선생님: 자동 번역 품질 평가 모델 구축과 응용
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
전문가 번역 평가는 정확하지만 시간과 비용이 많이 들고, BLEU 같은 자동 지표는 의미상의 오류를 충분히 잡지 못하는 문제를 해결하기 위해 파파고는 번역 품질을 예측하는 QE 모델을 개발했다. 고품질 평가 데이터가 부족한 상황에서는 공개 데이터와 기존 모델을 활용해 인공 데이터를 만들고, 인공 데이터 사전학습과 골드 데이터 미세조정을 반복하는 학습법 및 QE 사전학습을 시도했다. QE 모델은 번역 모델 평가뿐 아니라 학습 데이터의 품질 관리와 커리큘럼 구성에 쓰이며, 모노링구얼 말뭉치에서 병렬 문장을 찾는 패러렐 마이닝에서는 듀얼 인코더가 찾은 후보를 크로스 인코더 기반 QE로 정제한다. 다만 문맥이 모호한 사례나 학습 데이터 편향으로 잘못된 점수를 줄 수 있어, 오류 유형별 분석과 전문가 평가를 함께 활용하며 모델을 개선해야 한다.
- BLEU처럼 표면적인 n-gram 일치에 의존하는 지표는 의미상 번역 품질을 놓칠 수 있어, 모델 기반 평가와 전문가 평가를 목적에 맞게 병행한다.
- 고품질 QE 레이블이 부족하면 공개 데이터와 기존 모델로 인공 데이터를 만들고, 인공 데이터 사전학습과 골드 데이터 미세조정을 반복할 수 있다.
- 듀얼 인코더는 대규모 문장 검색에 적합하지만 숫자나 문장 성분의 미세한 차이를 놓칠 수 있으므로, 후보를 QE 모델로 재평가한다.
- QE 점수는 학습 데이터 정제와 커리큘럼 구성에도 활용할 수 있지만, 학습 데이터의 편향이 평가 결과에 반영되는지 살펴야 한다.
소개
[DEVIEW 2023] * 발표자 : 김현중, 임승현(NAVER Cloud) * 발표제목 : 파파고의 빨간펜 선생님: 자동 번역 품질 평가 모델 구축과 응용 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
언어 모델 기반의 범용 유저 임베딩과 이를 활용한 추천시스템 및 광고 타겟팅
컨퍼런스 DEVIEW 2023
'더' 잘 읽히고 자연스러운 이미지 번역을 위해 (파파고 텍스트 렌더링 개발기)
컨퍼런스 DEVIEW 2023
검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
컨퍼런스 DEVIEW 2023
값비싼 Diffusion model을 받드는 저비용 MLOps
컨퍼런스 DEVIEW 2023