Transformer 기반의 Global pLACE(GLACE) Matching 개발기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
영수증 OCR의 오탈자와 누락, 가게마다 다른 메뉴 표기 때문에 장소·메뉴를 자동으로 연결하기 어려웠고, 검수 인력 부담도 컸다. 장소 매칭에는 한국어 사전학습 Transformer 임베딩과 지도 대조 학습을 적용하고, 도메인 추가 사전학습과 DeepSpeed를 활용해 모델과 학습 규모를 개선했다. 메뉴 매칭은 같은 표준 메뉴 ID를 양성 샘플로 삼아 학습했으며, 메뉴명에 붙는 옵션은 다국어 BERT와 CRF로 추출해 매칭 전처리와 재랭킹에 활용했다. 발표에서는 장소 매칭의 서비스 지표 개선을 보고하고, 옵션 제거의 제약과 일본어 표기 변형을 데이터 증강으로 다뤄야 한다는 점을 공유했다.
- 대조 학습에서는 같은 정답 클래스에 속하는 샘플을 추가 양성 쌍으로 정의하면 표현이 다양한 입력을 함께 학습할 수 있다.
- 영수증 매칭처럼 노이즈가 많은 데이터는 실제 서비스에서 쌓인 데이터를 활용해 학습 페어를 구성하는 방법을 고려할 수 있다.
- DeepSpeed ZeRO Stage 2로 옵티마이저 상태와 그래디언트를 분산하면 GPU 메모리를 절약해 배치 크기를 늘릴 수 있다.
- 옵션 추출 결과를 매칭 전에 무조건 삭제하면 오히려 성능이 떨어질 수 있으므로, 최소 길이 같은 제약을 두고 적용해야 한다.
- 일본어 표기 변형을 정규화해 성능이 오르는 현상은 임베딩 모델이 표현 차이를 충분히 학습하지 못했다는 신호일 수 있다.
소개
[DEVIEW 2023] * 발표자 : 고성필, 박성진(NAVER Glace) * 발표제목 : Transformer 기반의 Global pLACE(GLACE) Matching 개발기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
컨퍼런스 DEVIEW 2023
이해, 생성, 효율: 세 마리 토끼 다 잡는 Seq2Seq HyperCLOVA
컨퍼런스 DEVIEW 2023
파파고의 빨간펜 선생님: 자동 번역 품질 평가 모델 구축과 응용
컨퍼런스 DEVIEW 2023
GraphQL 잘 쓰고 계신가요? (Production-ready GraphQL)
컨퍼런스 DEVIEW 2023