한국어 오픈도메인 질의응답 시스템 2.0 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
기존 한국어 오픈도메인 질의응답 시스템은 키워드 검색이 표현 차이에 취약하고, CNN 기반 기계 독해가 질문 변형이나 답변 불가·예/아니요 질문을 처리하지 못하는 한계가 있었다. 이를 개선하기 위해 DPR 밀집 검색을 키워드 검색과 결합하고, 어려운 부정 문서를 반복적으로 학습하는 어댑티브 배치 스케줄링을 적용했으며, 기계 독해에는 Splinter와 NLI 기반 데이터 증강을 도입했다. 트랜스포머 모델의 CPU 서빙에는 ONNX Runtime을 사용하고 토큰별 양자화와 커스텀 레이어 퓨전을 적용해 정확도 저하를 줄이면서 원본 대비 추론 속도를 높였다. 검색·독해·서빙을 함께 설계해야 실용적인 질의응답 시스템을 만들 수 있으며, 밀집 검색의 고유명사 취약성처럼 새 모델의 한계도 기존 방식과 결합해 보완해야 한다는 점을 보여줬다.
- DPR 학습에서는 배치 안의 문서를 부정 샘플로 쓰는 데 그치지 말고, 모델이 유사하다고 판단한 어려운 문서를 반복적으로 활용하면 변별력을 높일 수 있다.
- 밀집 검색은 고유명사 구별에 약할 수 있으므로, 필수 키워드 검색과 결합해 의미 검색의 장점과 정확한 명칭 매칭을 함께 확보한다.
- 반복되는 구절을 활용하는 Splinter 사전학습은 질의응답 성능을 높이는 데 적합하며, 한국어에 맞는 구절 추출 규칙도 중요하다.
- NLI 데이터를 질문 형태로 변환하면 예·아니요·알 수 없음 유형의 학습 데이터를 별도 수작업 없이 확장할 수 있다.
- CPU 추론에서는 ONNX Runtime과 토큰별 양자화, 커스텀 레이어 퓨전을 조합해 속도와 정확도의 균형을 맞출 수 있다.
소개
카카오엔터프라이즈 AI Assistant 팀에서는 대량의 텍스트 데이터 내에서 이용자가 물어보는 내용에 대한 답을 빠르고 정확하게 찾아주는 시스템인 오픈도메인 질의응답 모델을 연구하고 있습니다. 본 세션에서는 AI Assistant팀의 오픈도메인 질의응답 모델에 대해 소개하고, 빠른 속도와 높은 정확도를 어떻게 달성했는지 설명합니다. #NLP #OpenDomainQuestionAnswering 카카오엔터프라이즈 AI Assistant 팀 필입니다. 질의응답 시스템을 비롯한 다양한 한국어 자연어처리 기술을 연구하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-70 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
공공데이터를 활용한 RAG 기술 구현 및 프레임워크 소개 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 응답의 신뢰도를 높이기 위한 방법론인 RAG를 효과적으로 구현하기 위해 필요한 구조 및 데이터 가공방식을 소개합니다. #RAG #청킹 #검색 #대화형 인터페이스 검색 모델을 고도화하기 위해 인공지능 기술을 접목한 랭킹 모델과 신규 Feature를 개발하고 있는 Ian입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-10 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발 자연어 처리 로드맵 6개에 담김
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
딥(Deep)하게 오타 교정하기 / if(kakao)2022
컨퍼런스 if kakao
사용자에게 양질의 검색 결과를 제공하기 위해서는 검색어 교정이 필요합니다. 이번 발표에서는 딥러닝 모델을 이용한 검색어 오타 교정 방법과 저희가 고민했던 부분들을 소개합니다. #NLP #검색 카카오 엔터프라이즈 AI Assistant팀 다니엘입니다. 텍스트와 발화의 오타 교정 업무를 담당하고 있습니다. 데이터 관찰을 좋아하는 개발자입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-72 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 자연어 처리