추천 후보는 많을수록 좋을까? TopK를 최적화해 전환율을 높인 방법
구국원 토스 · 토스 기술 블로그
AI 핵심 요약
토스 쇼핑은 리트리벌 모델이 늘면서 랭커와 광고 검증의 부담이 커졌지만, 모델마다 후보의 가치가 달라 일괄적으로 TopK를 줄이기 어려웠습니다. 실제 로그에서 순위별 pICVR을 추정하고, 전체 후보 예산·모델별 최소 수량·순위 연속성을 제약으로 둔 정수계획법으로 모델별 TopK를 배분했습니다. 온라인 실험에서 후보 수를 약 절반으로 줄인 정수계획법 안은 User CVR을 7.55%, 사용자당 주문 수를 10.13% 높여 최종 선택됐지만, CTR과 노출 상품 다양성은 감소했습니다. 후속 Gumbel Weighted Sampling으로 다양성을 보완했으며, 최적화 결과는 목표 지표와 가드레일, 사용자 경험을 함께 고려해 판단해야 한다는 점을 확인했습니다.
- TopK는 모델별로 일괄 축소하기보다 순위별 예상 가치 곡선을 비교해 배분하세요.
- 정수계획법에는 전체 후보 예산뿐 아니라 모델별 최소 수량과 순위의 연속성도 제약 조건으로 넣을 수 있습니다.
- 오프라인 예측값은 후보를 고르는 출발점이며, 실제 효과는 사전에 정한 지표와 규칙으로 온라인 실험에서 검증해야 합니다.
- 전환 효율만 최적화하면 노출 다양성과 수익성이 나빠질 수 있으므로 가드레일과 다양성 지표를 함께 살펴야 합니다.
소개
TopK를 감이 아닌 최적화로 정한 이야기
비슷한 학습 자료
문서 황호익
토스증권 추천과 검색은 어떻게 진화하고 있을까?
문서 김현지
방해하지 않고, 눈에 띌 수 있을까
문서 박다롱
추천할 때는 제일 좋은 것 하나면 된다
문서 구국원, 박수형