얼굴 인식의 역사와 페이스페이의 미래

얼굴인식은 Bledsoe의 수작업 특징점 기록에서 출발해 Kanade의 자동 특징 추출, PCA 기반 Eigenface, LBP와 머신러닝, 딥러닝으로 발전하며 조명과 촬영 환경의 한계를 극복해 왔다. 글은 이 기술을 결제에 적용할 때 빠른 사용자 경험과 높은 보안 수준을 동시에 만족해야 한다는 과제를 제시하고, 토스 페이스페이가 단말기와 서버의 처리를 조합해 얼굴 식별과 결제를 수행한다고 설명한다. 통신·이미지 암호화, Matrix Projection 기반 취소 가능한 생체정보, 접근 제한, 다중 센서 Anti-Spoofing으로 유출과 위변조 위험에 대응하며, NIST FRTE 평가를 통해 성능을 검증했다고 소개한다. 핵심 교훈은 얼굴인식의 실서비스화에는 모델 정확도뿐 아니라 데이터 품질, 시스템 구조, 프라이버시와 제도적 보호를 함께 설계해야 한다는 점이다.

• PCA 기반 Eigenface는 얼굴을 평균 얼굴에서 벗어나는 패턴의 조합으로 표현해 비교한다.
• LBP는 주변 픽셀과의 밝기 차이를 이진 코드로 바꿔 조명 변화에 덜 민감한 질감 특징을 만든다.
• 얼굴 결제에서는 단말기와 서버의 처리 위치를 나눌 때 속도·정확도·프라이버시·운영 비용을 함께 고려해야 한다.
• 생체정보 보호에는 전송 암호화뿐 아니라 취소 가능한 생체인증, 접근 통제, 제도적 검증을 함께 적용할 수 있다.
• 사진·영상·마스크 공격을 막으려면 RGB, 적외선, 깊이 정보 등 여러 신호를 결합해 실제 사람인지 판별해야 한다.