토스뱅크가 AI로 보안과 효율도 챙기는 방법

토스뱅크는 고객 증가로 사람이 처리하는 신분증 검증의 시간과 비용이 커지자, 위조 여부·개인정보 가독성·얼굴 식별 등을 확인하는 ML 기반 신분증 사본 품질 검사 서비스를 도입했습니다. 정상 신분증을 잘못 반려하는 False Positive를 줄이도록 자동 반려 임계값을 설정하고, 의심 사례는 별도 임계값으로 관리자에게 경고해 수기 검증을 보조했습니다. 촬영 단계에서도 모델이 문제를 찾아 고객에게 재촬영을 안내하도록 하고, TUBA A/B 테스트로 임계값을 비교한 결과 False Negative를 줄이는 설정이 선택됐습니다. 모델 성능만이 아니라 고객 경험과 운영 효율을 함께 고려해 목표와 임계값을 정하고 실험으로 검증해야 한다는 점을 보여줍니다.

• False Positive는 고객 불편, False Negative는 수기 검증 부담으로 이어지므로 서비스 목표에 맞춰 임계값을 정해야 합니다.
• 자동 반려와 관리자 경고에 서로 다른 임계값을 두면 고객 피해를 줄이면서 검수 효율도 높일 수 있습니다.
• 촬영 단계에서 문제를 구체적으로 안내하면 사용자가 이탈하지 않고 다시 촬영하도록 도울 수 있습니다.
• 모델 임계값은 직관만으로 결정하기보다 성공 지표를 정하고 A/B 테스트로 검증하세요.