토스 Next ML Challenge - 광고 클릭 예측(PCTR) ML 경진대회 출제 후기

토스는 실제 광고 클릭 예측 문제를 경진대회로 공개하려 했지만, 여러 테이블을 익명화하면 참가자가 데이터를 조인해 피처를 만들기 어려워져 기본 피처 엔지니어링을 거친 단일 정형 데이터셋을 제공했습니다. 피처 이름과 값을 변환해 의미를 감추는 한편, 난도를 높이기 위해 가공되지 않은 Sequence 피처를 포함했습니다. 상위 팀들은 Boosting Tree와 딥러닝 앙상블, 데이터 기반 피처 엔지니어링, 리더보드에 맞춘 검증 전략으로 성과를 냈으며, Sequence 하나에서 37개 파생 변수를 만들거나 260개 모델을 활용한 사례도 나왔습니다. 출제 경험은 도메인 정보가 제한된 상황에서도 체계적인 분석과 실험, 실무 서빙 조건을 고려한 설계가 문제 해결의 핵심임을 보여줬습니다.

• 익명화된 피처도 분포와 상관관계를 분석하고 가설을 검증하면 유용한 파생 변수를 만들 수 있다.
• Sequence 데이터는 길이, 고유 토큰 수, 토큰 간 전이 등 여러 관점으로 집계해 활용할 수 있다.
• 오프라인 검증 데이터는 실제 리더보드와의 정합성을 고려해 구성해야 실험 결과를 신뢰할 수 있다.
• 모델 앙상블은 고정 가중치에 한정하지 말고 Logit이나 가중 앙상블 등 다양한 결합 방식을 검토할 수 있다.