문서

AWS Sagemaker Ground Truth로 훈련용 이미지를 편하게 분류하자

김민섭 컬리 · 컬리 기술 블로그

AI 핵심 요약

후기 이미지 분류 모델을 개선하려 했지만, 대량의 훈련 이미지를 준비하고 정확하게 라벨링하는 일이 가장 큰 난관이었다. S3에서 이미지를 내려받은 뒤 SHA-1 해시로 중복을 제거하고 Pillow로 손상 파일을 걸러냈으며, 드래그앤드롭·이미지별 수동 분류·기존 모델의 선분류 후 검수 방식을 비교했다. 10만 장 규모에서는 파일 탐색기와 로컬 분류가 부담이 되어 AWS SageMaker Ground Truth의 프라이빗 작업자 기능을 검토했고, 작업 결과를 JSON으로 받아 훈련 데이터에 활용할 수 있음을 확인했다. 다만 작업자 수와 관계없이 레이블 수에 따른 비용이 커 실제 도입은 보류했으며, 대량 데이터 라벨링에서는 편의성뿐 아니라 비용과 작업 확장성을 함께 고려해야 한다고 정리했다.

훈련 전에 파일 해시로 중복 이미지를 제거하고, Pillow로 이미지를 열어 손상 여부를 확인하면 학습 중단을 줄일 수 있다.
분류 기준이 단순하고 데이터가 적다면 드래그앤드롭이 빠르지만, 오분류 위험과 작업자 확장성의 한계가 있다.
기존 모델로 이미지를 먼저 분류한 뒤 사람이 검수하면 수작업 부담을 줄일 수 있지만, 로컬 처리 성능이 병목이 될 수 있다.
Ground Truth는 프라이빗 작업자를 초대해 분류를 나누고 결과를 JSON으로 받을 수 있지만, 레이블 수에 따른 비용을 먼저 따져야 한다.

소개

컬리에서도 소소하게 머신러닝을 사용하고 있습니다

비슷한 학습 자료

컨퍼런스 DAN 2025

[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기

컨퍼런스 DAN 2025

[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...

딥러닝 · 머신러닝 자연어 처리

책 피트 워든 예스24

초소형 머신러닝 TinyML

책 피트 워든 예스24

텐서플로 라이트를 활용한 마이크로컨트롤러 머신러닝 AI 음성비서 서비스를 만드는 구글 어시스턴트 팀은 불과 14KB짜리 모델을 사용해 “OK 구글”이란 말을 인식한다. 이는 마이크로컨트롤러에도 탑재 가능한 용량이다. 초소형 머신러닝 ‘TinyML’은 딥러닝과 임베디드 시스템의 결합으로 작은 기기에 음성 인식, 제스처 감지 등 놀라운 능력을 부여한다. 이 책은 어떠한 환경에도 적용할 수 있는 작은 모델을 훈련하는 방법을 담고 있다. 머신러닝이나 마이크로컨트롤러를 다룬 경험이 없어도 다양한 프로젝트를 단계별로 따라 하다 보면 실무 활용 능력을 키울 수 있을 것이다.

딥러닝 · 머신러닝