우리 회사에도 LLM 기반의 서비스를 도입할 수 있을까요?│인프콘2024
INFCON 2024 인프런 · YouTube
AI 핵심 요약
회사 데이터와 최신 정보를 모르는 LLM만으로는 신뢰할 만한 서비스를 만들기 어려워, 발표자는 미국 주식 Q&A 봇을 예로 RAG 기반 구현 과정을 설명했다. 뉴스·SEC 공시·리포트 등을 수집하고 문서를 청킹해 임베딩한 뒤 벡터 DB에서 관련 자료를 검색해 프롬프트에 넣고 GPT-4 API로 답변을 생성한다. 실제 운영에서는 PDF 전처리와 메타데이터 관리, 할루시네이션 완화, 검색·답변 평가와 모니터링을 위한 데이터 인프라 및 LLMOps가 필요하다. 처음부터 복잡한 인프라나 파인튜닝에 투자하기보다 문제와 비용 대비 가치를 먼저 검증하고, 평가를 반복하며 서비스를 고도화하는 것이 핵심 교훈이다.
- RAG의 검색 품질은 원문을 적절히 청킹하고, 임베딩과 메타데이터를 함께 활용하는 데서 출발한다.
- 벡터 검색 결과를 그대로 쓰기보다 질문 재작성, 문서 필터링·랭킹 등으로 관련 자료를 추려야 한다.
- 정답 사례와 사용자 피드백을 바탕으로 검색 결과와 최종 답변을 정량 평가하고 반복 개선한다.
- 초기 검증에서는 고성능 모델과 간단한 구현으로 가설을 확인한 뒤, 운영 가능성이 보일 때 LLMOps에 투자한다.
소개
🌱 인프런 에서 인프콘2024 강의 자료 다운로드 받고 복습해보세요. 🩵 강의 자료 다운 받기 : https://inf.run/ifwWL 🌱 인프런과 함께 배우고, 나누고, 성장하세요. 🩵 우리 회사에도 LLM 기반의 서비스를 도입할 수 있을까요? - 이호연 1. LLM 서비스 용어 정의하기 LLM 서비스란 무엇인지, 이를 구현하기 위해 필요한 LLM, RAG, LLMOps와 같은 용어들에 대해 먼저 짚고 갑니다. 2. (기초) LLM 서비스 구현하기 LLM 서비스 구현을 위해 필요한 기본적인 구성 요소들과 빠르게 구현할 수 있는 노하우를 알아봅니다. 3. (실전) LLM 서비스 고도화하기 LLM 서비스를 고도화 및 운영하기 위해 필요한 엔지니어링 요소와 인프라 환경들에 대해 알아봅니다. 4. 1년간 운영하면서 느낀 개발/운영 노하우 1년간 LLM 애플리케이션과 LLMOps 개발을 리드하면서 배운 교훈들을 정리합니다. #인프콘 #인프런 #인프콘2024 #인...
비슷한 학습 자료
컨퍼런스 INFCON 2024
오프닝 키노트 | 인프콘2024
컨퍼런스 INFCON 2024
실리콘밸리 개발 문화 및 서바이벌 전략 | 인프콘2024
컨퍼런스 INFCON 2024
지속 성장 가능한 설계를 만들어가는 방법 | 인프콘2024
컨퍼런스 INFCON 2024
🌱 인프런 에서 인프콘2024 강의 자료 다운로드 받고 복습해보세요. 🩵 강의 자료 다운 받기 : https://u.inf.run/4cLhYyK 🌱 인프런과 함께 배우고, 나누고, 성장하세요. 🩵 지속 성장 가능한 설계를 만들어가는 방법 - 김재민 소프트웨어를 개발할 때 항상 언급되는 '설계'. 여러분은 설계란 단어를 보면 어떤 것이 떠오르시나요? 이 발표에서는 설계란 무엇이고, 어떻게 접근할지에 대해 생각할 거리를 던집니다. 그리고 몇 가지 관점과 예제로 살펴봅니다. 결론적으로 우리가 개발할 때 정말로 집중해야 할 것이 무엇인지에 대해 이야기해 보려 합니다. #인프콘 #인프런 #인프콘2024 #인프콘2024다시보기
개발 · 프로그래밍 기타
컨퍼런스 INFCON 2024
인프런 아키텍처 2024 ~ 2025 | 인프콘2024
컨퍼런스 INFCON 2024
🌱 인프런 에서 인프콘2024 강의 자료 다운로드 받고 복습해보세요. 🩵 강의 자료 다운 받기 : https://u.inf.run/4cLhYyK 🌱 인프런과 함께 배우고, 나누고, 성장하세요. 🩵 인프런 아키텍처 2024 ~ 2025 - 이동욱 작년 발표 이후 1년간 인프런 아키텍처가 어떤 변화가 어떤 이유로 진행되었는지 소개 합니다. 새로운 구조나 아키텍처로 개편하는 과정에 대한 이야기들은 많지만 그런 개편 이후 1년, 2년이 지나서 어떤 결과가 만들어지는지에 대한 소개는 많이 없습니다. 인프런에서는 2022년부터 지속적으로 아키텍처를 점진적으로 개선하고 있으며, 2년전의 결정이 지금은 어떻게 되었는지 등 결과도 함께 경험하고 있습니다. 최근 1년간은 비용절감, Next.js 기반의 SSR, CSR, SPA 환경과 기존 Express SSR 과의 공존, 글로벌 플랫폼을 가기 위한 기반 작업 등등 여러 관심사를 해결하기 위한 노력들을 해왔습니다. 인프런 서비스가 ...
프론트엔드 백엔드
컨퍼런스 INFCON 2024
질문이 답을 바꾼다: AI시대, 좋은 답을 이끄는 질문│인프콘2024
컨퍼런스 INFCON 2024
🌱 인프런 에서 인프콘2024 강의 자료 다운로드 받고 복습해보세요. 🩵 강의 자료 다운 받기 : https://inf.run/ifwWL 🌱 인프런과 함께 배우고, 나누고, 성장하세요. 🩵 질문이 답을 바꾼다: AI시대, 좋은 답을 이끄는 질문 - 권정민 오늘날, LLM이 등장하면서 질문을 잘 하는 법이 새삼 떠오르고 있습니다. 하지만 , 질문은 예전부터 지금까지 늘 중요했고, 문제를 해결하는 것이 주요 업무인 데이터 과학자(데이터 분석가)에게는 더더욱 중요합니다. 그래서 그간의 경험과 이해를 토대로 오늘날 더 각광받는 질문을 잘 하는 법에 대해 공유하고, 여기에 사람과 AI의 개성과 필요에 따라서 약간씩의 차이가 있을 수 있어, 이에 대해서도 같이 살펴보고자 합니다. #인프콘 #인프런 #인프콘2024 #인프콘2024다시보기
AI에이전트 개발
컨퍼런스 INFCON 2024