AI에게 투자정보를 말하게 하기까지

투자 정보는 시의성·정확성·검증 가능성이 중요하고 시장 데이터 분포도 계속 바뀌기 때문에, 유창한 문장 생성만으로는 고객에게 신뢰할 만한 설명을 제공하기 어려웠습니다. 토스증권은 입수 시점에 BERT로 데이터를 분류하고, 하이브리드 검색 결과를 중복 제거·리랭킹·필터링해 LLM에 전달할 근거를 선별했습니다. 응답 요건이 명확한 기능에는 검색부터 설명 생성까지 단계와 입출력을 고정한 절차형 그래프를 적용하고, 결과에 평가용 분류값을 남겨 운영 실패를 평가셋과 맥락 기반 퓨샷 예시로 되돌렸습니다. 특정 종목 움직임의 근거 검증 태스크에서는 재현율을 유지하면서 정확도와 정밀도가 개선됐으며, 지속 가능한 AI 서비스에는 생성뿐 아니라 근거 선별·추적·평가·개선의 운영 체계가 필요하다는 점을 보여줍니다.

• 검색 단계에서는 재현율을 우선해 후보를 넓게 모은 뒤, 중복 제거와 관련성·방향성 필터링으로 근거를 좁히세요.
• 응답 요건이 명확한 고객용 기능은 긴 ReAct 루프보다 입력·출력 스키마가 정해진 절차형 태스크 그래프가 운영하기 쉽습니다.
• 생성 결과에 이벤트 유형과 실패 사유 같은 범주형 필드를 함께 남기면 정밀도·재현율·F1 등으로 품질을 평가할 수 있습니다.
• 운영 실패 사례를 평가셋과 프롬프트 예시로 되돌리고, 현재 입력과 유사한 포지티브·네거티브 샘플을 검색해 활용하세요.