'더' 잘 읽히고 자연스러운 이미지 번역을 위해 (파파고 텍스트 렌더링 개발기)
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
파파고 이미지 바로 번역과 실시간 번역에서는 원문을 지우고 번역문을 이미지에 다시 쓰는 텍스트 렌더링의 자연스러움과 가독성이 과제였다. 이를 개선하기 위해 GAN 기반 텍스트 인페인팅으로 배경을 복원하고, 스트로크 마스크를 활용한 색상 추출과 WCAG 명도 대비 조정, 딥러닝 기반 문단 정렬 추출을 적용했다. 엣지 검출로 글자 영역을 넓혀 번역문을 더 크게 표시했으며, 노이즈와 장식 요소에 대응하는 학습 기반 영역 추론은 후속 과제로 남겼다. 핵심은 배경·색상·정렬·영역을 함께 다뤄 원본의 시각적 구조를 보존해야 읽기 쉽고 자연스러운 번역 이미지를 만들 수 있다는 점이다.
- 텍스트 인페인팅에서는 글자 획과 주변 영역에 선택적으로 집중하고, OCR 박스 안쪽만 생성하도록 범위를 제한할 수 있다.
- 글자 색상은 원본 이미지와 인페인팅 결과의 차이로 스트로크 마스크를 만든 뒤 추출하면 더 정확해진다.
- WCAG의 명도 대비 기준을 적용하고 LAB 색상 공간의 밝기 축을 조절해 번역문 가독성을 높일 수 있다.
- 정렬 추출은 텍스트 라인 간 기하 관계만으로 해결하기 어려우므로 이미지 전체의 시각적 특징을 함께 고려해야 한다.
- 엣지 검출은 글자 영역을 넓히는 데 유용하지만 노이즈와 장식 요소에 취약해, 글자에 특화된 영역 추론이 필요하다.
소개
[DEVIEW 2023] * 발표자 : 이현수(NAVER Cloud) * 발표제목 : '더' 잘 읽히고 자연스러운 이미지 번역을 위해 (파파고 텍스트 렌더링 개발기) * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
눈으로 보며 듣는 음성 기록, 클로바노트 서비스의 웹 기술 톺아보기
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
루다, 눈을 뜨다! AI 챗봇 서비스에 이미지 대화 기술 적용시키기.
컨퍼런스 DEVIEW 2023
WebtoonMe 개발기: 내가 웹툰 안으로 들어가면 여신강림 임주경 보다 이쁠까 안이쁠까?
컨퍼런스 DEVIEW 2023
사실적인 AR 오브젝트 렌더링을 위한 도전 : AR Viewer 개발기
컨퍼런스 DEVIEW 2023