문서

진짜 A/B 테스트: 토스의 푸시 생태계를 데이터로 재설계한 방법

고은솔 토스 · 토스 기술 블로그

AI 핵심 요약

서비스가 100개를 넘으며 푸시 발송량이 늘고 CTR이 하락하자, 토스는 단순한 빈도·타이밍 조정만으로는 해결하기 어렵다고 판단했습니다. 서비스와 템플릿, 사용자 세그먼트별 EDA와 SHAP 분석으로 원인을 살핀 뒤, 같은 목적의 푸시에 연속으로 반응하지 않은 사용자를 일정 기간 제외하는 디타게팅 규칙을 설계했습니다. 전체 사용자의 6%를 대상으로 2개월간 현행안과 두 가지 기준을 비교하는 ABC 테스트를 진행하고, CTR을 주 지표로 앱·서비스 이용자 수와 매출을 보호 지표로 확인했습니다. 두 변이안에서 발송량은 줄고 클릭 총량은 유지됐으며 가드레일 악화도 없어, 추가 관찰 후 리스크가 낮은 보수안을 전사 배포했습니다.

푸시 발송량과 CTR의 단순 상관관계만으로 원인을 단정하지 말고, 타겟팅 편향을 고려해 세그먼트별로 분석하세요.
SHAP 분석은 빈도, 최근 클릭, 카테고리 적합도, 수신 시각 등 CTR 관련 피처를 찾는 데 활용할 수 있습니다.
연속 무반응을 카테고리별 관심 저하 신호로 정의하고, 일정 기간 제외하는 디타게팅 규칙을 설계할 수 있습니다.
주 지표뿐 아니라 앱·서비스 이용자 수와 매출 같은 보호 지표를 함께 두어 실험의 부작용을 확인하세요.
전사 적용이 민감한 변경일수록 실험 목적과 리스크를 투명하게 공유하고, 제품 담당자와 합의하는 과정이 중요합니다.

소개

토스가 데이터를 바탕으로 의사결정을 내리는 과정 속에서, 데이터 분석가가 어떻게 토스의 푸시 생태계를 재설계 했는지 알려드려요.

비슷한 학습 자료

문서 이정성

토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

문서 이정성

안녕하세요. 토스 QA Platform 팀 리더 이정성입니다. 지난 글에서 저희가 누구이고 무엇을 만들어 왔는지 짧게 소개해 드렸는데요. 오늘은 그 첫 번째 이야기, 저희만의 플랫폼 토션(Tossion)을 소개합니다. "이 기능, 지난번에 테스트 결과 어땠었죠?" QA라면 릴리즈 직전에 이 질문을 한 번쯤 받아 보셨을 겁니다. 저희도 받았고, 답을 드리는 데 시간이 걸리곤 했습니다. 자동화 테스트(Automation Test) 결과, 매뉴얼 테스트(Manual Test) 결과와 테스트 케이스(Test Case) 그리고 각 테스트의 ...

소프트웨어 테스트