이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
한국어 이미지·텍스트 검색과 생성에 활용할 대규모 멀티모달 모델을 만들기 위해, 네이버 내부 데이터와 공개 데이터로 이미지·텍스트 페어를 구축하고 품질·안전성·정합성 필터링을 적용했다. CLIP 기반 대조 학습과 프롬프트별 데이터 구분을 활용한 모델을 개발하고, 이미지와 텍스트를 함께 처리하는 단일 인코더 학습 방식과 Stable Diffusion의 한국어 텍스트 인코더도 구현했다. 이를 멀티모달 문서 검색 서비스 MDS에 적용해 이미지 검색, 패션 상품 검색, 쿼리별 스마트 썸네일 선택 등에 활용했다. 대규모 데이터의 정제와 모달리티 간 표현 정렬이 모델 성능과 실제 서비스 적용의 핵심이라는 점을 보여줬다.
- 이미지·텍스트 페어는 수집량뿐 아니라 이미지 품질, 텍스트 안전성, 두 모달리티의 실제 연관성을 함께 점검해야 합니다.
- 문서 제목·검색어·상품명처럼 데이터 출처별 문체가 다르면 프롬프트 토큰으로 구분해 학습시키는 방법을 고려할 수 있습니다.
- 이미지와 텍스트를 하나의 인코더에서 다루려면 모달리티 간 표현 차이를 줄이는 학습 목표와 마스킹 학습을 함께 설계해야 합니다.
- 기존 Stable Diffusion의 영어 텍스트 인코더를 고정하고 한·영 임베딩을 정렬하면 한국어 프롬프트 생성에 활용할 수 있습니다.
- 검색 서비스에서는 여러 모델로 후보를 모은 뒤 재랭킹하고, 쿼리에 따라 문서 내 적절한 썸네일을 선택하는 구조가 유용합니다.
소개
[DEVIEW 2023] * 발표자 : 전동현(NAVER Search) * 발표제목 : 이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
'더' 잘 읽히고 자연스러운 이미지 번역을 위해 (파파고 텍스트 렌더링 개발기)
컨퍼런스 DEVIEW 2023
검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
컨퍼런스 DEVIEW 2023
루다, 눈을 뜨다! AI 챗봇 서비스에 이미지 대화 기술 적용시키기.
컨퍼런스 DEVIEW 2023
CLOVA Vision: 네이버 AI, Cloud, IP카메라의 만남. 일본 AI Cloud Camera 도전기
컨퍼런스 DEVIEW 2023
DEVIEW 2023 - 키노트 영상
컨퍼런스 DAN 2024
Discussing the evolution of search experiences at the intersection of technology and design, and explore how AI will reshape search interfaces and their future. To view English subtitles, please select English in the subtitle settings. Learn more about DAN 24: https://dan.naver.com
인공지능 기타 UI/UX