공공데이터를 활용한 RAG 기술 구현 및 프레임워크 소개 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
긴 문서를 그대로 LLM에 제공하면 컨텍스트 한계와 주제 혼합으로 검색 품질이 떨어지고, 답변에 불필요한 정보가 섞일 수 있다는 문제에서 출발했습니다. 이를 해결하기 위해 문서 구조를 우선 반영하고, 필요할 때 ELECTRA 기반 시맨틱 청킹으로 문장을 의미 단위로 나눈 뒤 T5 멀티태스크 모델로 청크 제목·관련 질문·검색 질의 재작성을 처리했습니다. 청크의 맥락을 보존하도록 부모·자식 관계를 활용한 하이브리드 검색을 구성하고, 검색 결과를 근거로 답변을 생성하는 공공데이터 RAG 데모를 선보였습니다. 청크 분할만으로는 충분하지 않으며 문서 간 관계와 검색 전후 처리까지 설계해야 하고, 근거 기반 답변에서도 모델의 사전 지식과 할루시네이션의 경계는 완전히 없애기 어렵다는 점을 강조했습니다.
- 문서 구조가 있으면 제목·문단 등 구조를 먼저 활용하고, 구조가 없거나 청크가 지나치게 길 때 시맨틱 청킹을 적용하세요.
- 시맨틱 청킹은 문장 임베딩 유사도뿐 아니라 유사도 변화율과 절대 기준을 함께 보고, 문장 단위 보존과 오버랩으로 맥락 손실을 줄입니다.
- 청크에는 제목과 관련 질문을 덧붙이고 부모·자식 관계를 유지하면 문서 맥락을 보완하고 중복 결과를 줄이는 데 도움이 됩니다.
- 대화형 질문을 검색어로 재작성하고, 검색 결과를 근거로 답변하게 하되 파라메트릭 메모리와 근거 정보의 경계는 완전히 제거하기 어렵다는 점을 고려해야 합니다.
소개
LLM 응답의 신뢰도를 높이기 위한 방법론인 RAG를 효과적으로 구현하기 위해 필요한 구조 및 데이터 가공방식을 소개합니다. #RAG #청킹 #검색 #대화형 인터페이스 검색 모델을 고도화하기 위해 인공지능 기술을 접목한 랭킹 모델과 신규 Feature를 개발하고 있는 Ian입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-10 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
이 자료가 담긴 로드맵
커뮤니티에서 더 보기비슷한 학습 자료
컨퍼런스 if kakao
모두를 위한 게임 데이터 검색 시스템 / if(kakaoAI)2024
컨퍼런스 if kakao
데이터 분석 및 이에 기반한 의사결정이 신속히 이루어져야 하는 게임업계 특성상, 어떻게 데이터 접근성을 높일 수 있을지에 대한 고민이 많았습니다. SQL과 스키마 구조를 모르더라도 데이터에 쉽고 빠르게 접근할 수 있는 데이터 검색 시스템을 구축하기 위한 노력과 그 과정을 소개합니다. #data #game #LLM 카카오게임즈에서 BI 업무를 담당하고 있는 Sonny와 Saylor입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-82 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데이터베이스 인공지능 기타
컨퍼런스 if kakao
‘선물하기 와인 탐험’ LLM 대화형 서비스 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
사용자와의 대화를 바탕으로 선물하기 와인상품을 추천하는 LLM 대화형 서비스 구현 사례를 소개합니다. 선물하기 와인픽업서비스를 더 재미있고 자유롭게 사용할 수 있는 톡서비스. LLM 기반의 선물하기 와인상품 추천 서비스를 개발하고 출시하기까지의 경험을 소개하고 대화흐름 제어 아키텍처와 실제 상품을 찾아내는 RAG 기법을 공유하고자 합니다. #LLM #NLP #RAG #Data 광고커머스 AI 기술 조직에서 ML기반 데이터와 서비스를 만들고 있는 Ethan입니다. 카카오 커머스의 AI 엔지니어 Summer입니다. AI 기술 조직에서 데이터 엔지니어링, 상품 추천 및 탐색 분야의 작업을 진행하고 있는 Daniel입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-60 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkak...
AI에이전트 개발 자연어 처리
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오i를 통한 AIOT 서비스의 사례와 미래 / if(kakaoAI)2024
컨퍼런스 if kakao
모든 요소기술들을 아우를 수 있는 미래 먹거리로써 사물인터넷에 연결되는 스마트 디바이스와 클라우드 플랫폼, 그리고 서비스에 인공지능이 접목된 지능화된 사물인터넷(Artificial Intelligence of Things, AIoT)이 부각되는 시대. 사람과 사물이 경계없이 연결하기 위한 카카오i의 AIOT플랫폼의 구조와 현재, 방향, 고민에 대해 공유합니다. #AIoT 디케이테크인의 AI공통플랫폼팀에서 kakaoi 대화형플랫폼 개발을 하고 있는 Ramsy와 Tristan입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-2 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
인공지능 기타 네트워크
컨퍼런스 if kakao
딥(Deep)하게 오타 교정하기 / if(kakao)2022
컨퍼런스 if kakao
사용자에게 양질의 검색 결과를 제공하기 위해서는 검색어 교정이 필요합니다. 이번 발표에서는 딥러닝 모델을 이용한 검색어 오타 교정 방법과 저희가 고민했던 부분들을 소개합니다. #NLP #검색 카카오 엔터프라이즈 AI Assistant팀 다니엘입니다. 텍스트와 발화의 오타 교정 업무를 담당하고 있습니다. 데이터 관찰을 좋아하는 개발자입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-72 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 자연어 처리