문서

AI에게 투자정보를 말하게 하기까지

정현규 토스 · 토스 기술 블로그

AI 핵심 요약

투자 정보는 시의성·정확성·검증 가능성이 중요하고 시장 데이터 분포도 계속 바뀌기 때문에, 유창한 문장 생성만으로는 고객에게 신뢰할 만한 설명을 제공하기 어려웠습니다. 토스증권은 입수 시점에 BERT로 데이터를 분류하고, 하이브리드 검색 결과를 중복 제거·리랭킹·필터링해 LLM에 전달할 근거를 선별했습니다. 응답 요건이 명확한 기능에는 검색부터 설명 생성까지 단계와 입출력을 고정한 절차형 그래프를 적용하고, 결과에 평가용 분류값을 남겨 운영 실패를 평가셋과 맥락 기반 퓨샷 예시로 되돌렸습니다. 특정 종목 움직임의 근거 검증 태스크에서는 재현율을 유지하면서 정확도와 정밀도가 개선됐으며, 지속 가능한 AI 서비스에는 생성뿐 아니라 근거 선별·추적·평가·개선의 운영 체계가 필요하다는 점을 보여줍니다.

검색 단계에서는 재현율을 우선해 후보를 넓게 모은 뒤, 중복 제거와 관련성·방향성 필터링으로 근거를 좁히세요.
응답 요건이 명확한 고객용 기능은 긴 ReAct 루프보다 입력·출력 스키마가 정해진 절차형 태스크 그래프가 운영하기 쉽습니다.
생성 결과에 이벤트 유형과 실패 사유 같은 범주형 필드를 함께 남기면 정밀도·재현율·F1 등으로 품질을 평가할 수 있습니다.
운영 실패 사례를 평가셋과 프롬프트 예시로 되돌리고, 현재 입력과 유사한 포지티브·네거티브 샘플을 검색해 활용하세요.

소개

근거를 고르고, 절차를 통제하고, 실패를 다시 쓰는 세 개의 관문

비슷한 학습 자료

컨퍼런스 토스증권 Tech Talk Talk

테크톡톡 2026 | ML Engineer - AI에게 투자정보를 말하게 하기까지

컨퍼런스 토스증권 Tech Talk Talk

토스증권 AI Tribe는 복잡한 금융·증권 정보를 쉽게 이해할 수 있도록, 개인에게 필요한 투자정보를 전달하는 AI 기반 서비스를 만들고 있어요. 무엇을 말할지 고르고, 어떻게 생성할지 통제하고, 평가 가능한 구조로 만들기까지. AI가 투자정보를 말할 수 있게 되기까지의 개발 경험을 공유할게요. 정현규 | 토스증권 ML Engineer 토스증권 ML Engineer로 합류하고 싶다면 👉 https://toss.im/_m/LJjCHeCD

딥러닝 · 머신러닝

문서 황호익

토스증권 추천과 검색은 어떻게 진화하고 있을까?

문서 황호익

추천, RAG, 그래프 검색을 만들며 마주한 문제와 선택

AI에이전트 개발 자연어 처리

문서 정세훈

개발자는 AI에게 대체될 것인가

문서 정세훈

AI가 전문성의 종말을 초래할까요? 끝없이 토론되고 있는 이 질문에 대한 개발자의 개인적인 시각을 공유합니다.

문서 김경윤

토스뱅크가 AI로 보안과 효율도 챙기는 방법

문서 김경윤

은행 창구에서 본인확인을 위해 뭘 요구할까요? 바로, 신분증입니다. 비대면 은행인 토스뱅크는 ML 모델로 어떻게 신분증 검증 과정의 수기 작업을 최소화했는지 알려드릴게요.

딥러닝 · 머신러닝

문서 김유라

AI로 바꾼 제품 설계의 순서

문서 김유라

고객센터 챗봇을 만들면서, 좋은 사용자 경험을 먼저 만들고 필요한 것들을 역산해나간 과정을 소개할게요.

UI/UX 프로덕트 매니지먼트

책 장동인 예스24

돈 되는 AI, 어디서부터 무엇을 어떻게 해야 할까