진짜 A/B 테스트: 토스의 푸시 생태계를 데이터로 재설계한 방법

서비스가 100개를 넘으며 푸시 발송량이 늘고 CTR이 하락하자, 토스는 단순한 빈도·타이밍 조정만으로는 해결하기 어렵다고 판단했습니다. 서비스와 템플릿, 사용자 세그먼트별 EDA와 SHAP 분석으로 원인을 살핀 뒤, 같은 목적의 푸시에 연속으로 반응하지 않은 사용자를 일정 기간 제외하는 디타게팅 규칙을 설계했습니다. 전체 사용자의 6%를 대상으로 2개월간 현행안과 두 가지 기준을 비교하는 ABC 테스트를 진행하고, CTR을 주 지표로 앱·서비스 이용자 수와 매출을 보호 지표로 확인했습니다. 두 변이안에서 발송량은 줄고 클릭 총량은 유지됐으며 가드레일 악화도 없어, 추가 관찰 후 리스크가 낮은 보수안을 전사 배포했습니다.

• 푸시 발송량과 CTR의 단순 상관관계만으로 원인을 단정하지 말고, 타겟팅 편향을 고려해 세그먼트별로 분석하세요.
• SHAP 분석은 빈도, 최근 클릭, 카테고리 적합도, 수신 시각 등 CTR 관련 피처를 찾는 데 활용할 수 있습니다.
• 연속 무반응을 카테고리별 관심 저하 신호로 정의하고, 일정 기간 제외하는 디타게팅 규칙을 설계할 수 있습니다.
• 주 지표뿐 아니라 앱·서비스 이용자 수와 매출 같은 보호 지표를 함께 두어 실험의 부작용을 확인하세요.
• 전사 적용이 민감한 변경일수록 실험 목적과 리스크를 투명하게 공유하고, 제품 담당자와 합의하는 과정이 중요합니다.