현관문에도 얼굴이 있다: 배송 완료 사진 기반 On-device 오배송 탐지 시스템

오배송은 발생 빈도는 낮지만 비용과 고객 경험에 미치는 영향이 커, 배송 완료 사진으로 실시간 탐지하는 시스템을 만들었습니다. 먼저 이진 분류 모델로 흔들림이나 배송과 무관한 피사체가 담긴 사진을 걸러낸 뒤, Centroid Triplet Loss와 조도·밝기 증강으로 학습한 인코더가 장소별 임베딩을 추출하도록 했습니다. 과거 사진의 임베딩은 Airflow와 DocumentDB로 관리하고 주소별 중심점을 모바일 앱에 전달해, ONNX 기반 온디바이스 추론으로 새 사진과의 거리를 비교하도록 구성했습니다. 학습에 없던 주소지에서도 성능을 평가했으며, 채널별 임계값과 운영 검수 방식을 나누고 임베딩만 저장해 현장 대응과 프라이버시를 함께 고려했습니다.

• 대조 학습에서는 PK 샘플러로 배치 안에 같은 장소의 이미지를 충분히 넣어 안정적인 중심점을 만들 수 있습니다.
• Hard Negative Mining은 비슷한 현관문이나 복도처럼 혼동하기 쉬운 장소를 구분하는 데 집중하게 합니다.
• 학습·검증·테스트 데이터를 주소지 단위로 분리해야 새로운 장소에 대한 제로샷 일반화 성능을 평가할 수 있습니다.
• 서버와 모바일의 전처리 차이로 임베딩이 달라지지 않도록 전처리부터 추론까지 ONNX 모델에 포함했습니다.
• 현장 앱 알림은 정밀도, 운영팀 검수 알림은 재현율을 우선하는 등 채널별로 임계값과 대응 방식을 달리할 수 있습니다.