검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
기존 CLOVA OCR은 검출과 인식이 분리된 2단계 구조라 검출 오류가 인식 실패로 이어지고, 두 모델의 업데이트와 추론 비용도 부담이었다. 이를 개선하기 위해 이미지 백본을 공유하고 검출·인식을 함께 학습하는 단일 모델 DEER를 개발했으며, 인식기는 잘라낸 영역 대신 이미지 전체 특징을 보고 위치 정보로 읽을 단어를 지정하도록 설계했다. DEER에 문자 검출과 문서의 라인·문단 위치 추출 기능을 더했고, ECCV 2022 OCR 챌린지에서 우승했으며 기존 모델보다 추론 시간과 메모리 사용을 줄이는 경량화도 진행했다. 서비스 적용을 위해 다양한 도메인의 데이터를 모아 성능을 검증하고, 데이터 라벨의 누락과 오류를 다루는 방법이 실제 OCR 성능에 중요하다는 점을 확인했다.
- 검출 결과를 잘라 인식기에 넘기는 방식은 경계가 조금만 틀려도 텍스트가 잘리거나 주변 글자가 섞일 수 있다.
- Deformable Attention 디코더는 위치를 기준으로 읽을 단어를 지정하고 이미지 전체 특징을 참조한다.
- 문자 단위 어노테이션이 부족할 때는 일부 정답 데이터로 교사 모델을 학습한 뒤 의사 라벨을 만들어 활용할 수 있다.
- COCO-Text처럼 누락·오류가 있는 데이터는 검출 손실에서 제외하거나 라벨을 보정해 학습 노이즈를 줄인다.
- OCR 경량화에서는 스트라이드 4 특징 쿼리 축소와 디코딩 배치 확대를 각각 시험해 속도와 메모리 영향을 확인한다.
소개
[DEVIEW 2023] * 발표자 : 길태호, 서석민(NAVER Cloud) * 발표제목 : 검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시! * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
이해, 생성, 효율: 세 마리 토끼 다 잡는 Seq2Seq HyperCLOVA
컨퍼런스 DEVIEW 2023
CLOVA Vision: 네이버 AI, Cloud, IP카메라의 만남. 일본 AI Cloud Camera 도전기
컨퍼런스 DEVIEW 2023
동형암호 기반 프라이버시 보존 CNN 알고리즘 개발 꿀팁 대방출
컨퍼런스 DEVIEW 2023
파파고의 빨간펜 선생님: 자동 번역 품질 평가 모델 구축과 응용
컨퍼런스 DEVIEW 2023