리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기
박찬용/최기원/김태정/이민영 토스 · 토스 기술 블로그
AI 핵심 요약
공개 리더보드의 순위가 한국어 요청, Reasoning 설정, 토스의 실제 업무에서도 유지되는지 알기 어려워 LLM Modeling 팀은 서비스 환경에 맞춘 Toss Benchmark를 구축했습니다. 한국어 범용 평가와 실제 운영 태스크에 더해, 프롬프트 정책 준수를 보는 Toss IFBench와 커머스 지식을 측정하는 Toss Knowledge를 만들고 형식 지시·판단 지시, 도메인별 지식 축을 나눠 평가했습니다. 벤치마크 점수와 별도 운영 태스크 성능을 비교해 정책 준수와 커머스 지식이 일부 실제 업무 성능과 양의 상관을 보이는지 확인했으며, 결과는 모델 카탈로그와 추천에 활용합니다. 핵심 교훈은 범용 점수나 종합 순위만으로 모델을 선택하지 말고, 실제 서비스의 언어·설정·업무 요구에 맞는 평가 기준을 마련해야 한다는 것입니다.
- 공개 리더보드 점수만으로 모델을 고르지 말고, 서비스에서 사용할 언어와 Reasoning 설정을 맞춰 비교하세요.
- 실제 업무 데이터와 프롬프트를 활용한 운영 태스크 평가에 공통 능력 벤치마크를 함께 두면, 개별 업무와 정책 준수·도메인 지식을 나눠 볼 수 있습니다.
- 정책 준수는 출력 형식과 판단 규칙을 분리해 평가해야 모델이 규칙을 실제로 따르는지 확인할 수 있습니다.
- 객관식 지식 평가에서는 정답 위치를 바꿔 반복 측정하면 보기 위치 선호가 점수에 미치는 영향을 줄일 수 있습니다.
- 벤치마크를 참고해 만든 운영 태스크는 상관관계 분석에서 제외해, 평가 기준이 다른 업무 성능과도 연결되는지 확인하세요.
소개
Toss의 AI 기반 서비스에 적합한 LLM이 무엇인지 평가하는 Toss Benchmark 구축기
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
책 에디 유 예스24
LLM 마스터: 모델×시스템 엔지니어링
책 에디 유 예스24
API 활용에서 LLM 엔지니어링으로, 그 도약에 필요한 모든 것 모델의 원리부터 서비스 확장까지, LLM 개발의 전 과정을 잇는 실전 로드맵 LLM을 ‘쓸 줄 아는’ 사람은 많아졌습니다. API를 호출하고 프롬프트를 다듬는 일도 이제는 그리 어렵지 않습니다. 하지만 한 겹 더 깊이 들어가면 이야기가 달라집니다. 모델은 왜 이렇게 동작하는지, 내 데이터로 어떻게 학습시키는지, 실제 서비스의 트래픽을 어떻게 감당하게 할지. LLM을 제대로 다루려면 단순한 활용을 넘어서는 지식과 경험이 필요합니다. 이 책은 바로 그 경계를 넘으려는 개발자를 위한 LLM 엔지니어링 안내서입니다. 현업 개발자이자 데이터 과학자인 네 명의 저자가 흩어져 있는 기술과 개념을 하나의 학습 로드맵으로 엮었습니다. 트랜스포머의 작동 원리에서 출발해 파인튜닝과 서빙 최적화, Reasoning LLM, 고급 RAG와 도구 호출 에이전트까지, 모델과 시스템이 어떻게 연결되어 실제 LLM 서비스가 되는지 전체 흐름을 따라...
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리 로드맵 5개에 담김
문서 김민규
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
문서 김민규
LLM 쉽고 빠르게 서빙하기
책 이경록 예스24
테디노트의 랭체인을 활용한 RAG 비법노트 : 기본편
책 이경록 예스24
8단계 RAG 파이프라인으로 LLM의 성능을 50점에서 90점으로 끌어올리는 RAG 시스템 ChatGPT와 같은 LLM은 다양한 업무에 활용되지만, 최신 정보나 특정 문서 내용을 정확히 반영하지 못하는 한계가 있다. 이를 극복하는 대안이 RAG(검색 증강 생성) 기술이다. 이 책은 LangChain을 활용한 RAG 시스템을 ‘문서 로드 → 텍스트 분할 → 임베딩 → 벡터 저장 → 리트리버 검색 → 프롬프트 생성 → LLM 응답 생성 → 체인 구성’의 8단계로 정리하고 각 단계를 하나하나 실습하며 익힌다. 이 과정에서 LCEL 문법, 프롬프트 설계, 출력 포맷 처리법을 배우며, OpenAI, Hugging Face, Upstage, Ollama 등 다양한 모델과 연결하는 방법도 익힐 수 있다. 또한 Streamlit을 활용해 문서 검색, 이메일 자동화, 보고서 작성 챗봇, 멀티모달 챗봇 등 실무에 적용 가능한 다양한 웹 애플리케이션을 어렵지 않게 직접 제작할 수 있다.
AI에이전트 개발