토스증권 추천과 검색은 어떻게 진화하고 있을까?

배치·클러스터 기반 추천은 사용자의 관심과 시장 상황이 빠르게 변하고 콘텐츠가 다양해지면서, 행동 이벤트와 피드백을 반영하는 실시간 개인화 루프로 진화했습니다. 이를 위해 벡터 임베딩의 버전과 인덱스를 함께 교체하고, 실제 요청 패턴에 맞춰 벡터 검색의 지연·처리량·GC를 검증했습니다. 검색은 서비스별로 흩어진 데이터 조회를 공통 RAG 플랫폼으로 묶어 질문 이해, 하이브리드 검색, 리랭킹을 거치게 했으며, 금융 지식 그래프에서는 Beam Search 방식으로 홉별 후보를 제한하고 관련도·시가총액·최신성·제품별 경로 선호도를 반영했습니다. 세 사례가 보여준 교훈은 AI 품질이 모델 성능만이 아니라 데이터 갱신, 후보 선택, 관측과 운영까지 포함한 시스템 설계에 달려 있다는 점입니다.

• 임베딩 모델을 교체할 때는 벡터 생성 버전, 서빙 모델, 검색 인덱스를 함께 관리해야 합니다.
• 벡터 저장소는 검색 지연뿐 아니라 실제 멀티겟 요청의 처리량과 JVM GC 추이까지 검증하세요.
• RAG 검색 품질은 하이브리드 검색, 메타데이터 필터, 사전 관리, 리랭킹을 조합해 개선할 수 있습니다.
• 그래프 탐색에서는 홉마다 후보를 점수화하고 제한해 메모리 사용을 통제하며, Cypher 실행계획과 실제 비용을 확인해야 합니다.