루다, 눈을 뜨다! AI 챗봇 서비스에 이미지 대화 기술 적용시키기.
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
텍스트만 이해하던 루다는 사용자가 사진을 보내도 정해진 반응만 할 수 있어, 스캐터랩은 대화 맥락에 맞는 이미지 답변을 목표로 이미지 커멘팅 태스크를 정의했다. AI 허브와 Open Images의 사진을 수집하고 약 15만 개의 대화체 코멘트를 레이블링한 뒤, 사내 한국어 언어 모델과 비전 트랜스포머를 결합한 리트리버·생성 모델을 비교해 포토챗 베타에는 리트리버 방식을 적용했다. 후보 문장에 없는 답변을 만들기 어렵고 텍스트 대화의 이전 맥락을 반영하지 못하는 한계를 확인한 뒤, 이미지 임베딩을 프로젝션 레이어로 GPT-2 기반 언어 모델에 전달하는 생성형 모델을 개발했다. 이미지·텍스트 데이터로 사전 학습한 모델은 사진에 더 구체적으로 반응하고 대화 맥락도 함께 고려할 수 있었으며, 데이터 설계와 충분한 사전 학습이 자연스러운 멀티모달 대화에 중요하다는 점을 얻었다.
- 이미지 대화 태스크는 이미지 설명을 그대로 생성하는 것보다 대화 맥락에서 자연스럽고 구체적인 답변을 만드는 데 초점을 둬야 한다.
- 레이블링 가이드라인은 지나치게 세세하게 규정하기보다 좋은 예시와 나쁜 예시를 제시해 자연스러운 표현을 유도한다.
- 리트리버 모델은 데이터가 적을 때 유용하지만, 후보 문장에 없는 표현을 만들 수 없고 일반적인 답변을 고르기 쉽다.
- 생성형 멀티모달 모델에서는 사전 학습된 언어 모델을 고정하고 비전 인코더와 프로젝션 레이어를 학습해 이미지 임베딩을 언어 모델 입력에 맞출 수 있다.
소개
[DEVIEW 2023] * 발표자 : 이재훈(스캐터랩) * 발표제목 : 루다, 눈을 뜨다! AI 챗봇 서비스에 이미지 대화 기술 적용시키기. * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
'더' 잘 읽히고 자연스러운 이미지 번역을 위해 (파파고 텍스트 렌더링 개발기)
컨퍼런스 DEVIEW 2023
검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
컨퍼런스 DEVIEW 2023