문서

토스가 다양한 ML 모델을 만드는 법: Feature Store & Trainkit

우종호/송석현 토스 · 토스 기술 블로그

AI 핵심 요약

토스는 여러 팀이 각자 Feature를 만들고 학습 파이프라인을 구현하면서 생기는 중복, 재현성 저하, 학습·서빙 간 불일치 문제를 해결하기 위해 Feature Store와 Trainkit을 구축했다. Feature Store는 Feature 메타데이터와 오프라인·온라인 데이터를 관리하며, 온라인 서빙에는 저지연 Key-Value 저장소인 Aerospike를 사용한다. Trainkit은 Feature Store의 메타정보를 바탕으로 여러 Feature Package를 결합하고, 전처리와 데이터셋 생성을 표준화하며 시간 Shift와 런타임 PIT 조인을 제공한다. 이를 통해 Feature 재사용과 학습 파이프라인의 일관성을 높이고, 데이터 누수와 조인 과정의 메모리 낭비를 줄이는 설계를 제시한다.

Feature Store는 Feature의 저장소를 넘어 학습·서빙 간 일관성, 재사용, 품질 모니터링과 접근 권한을 함께 관리하는 시스템이다.
Feature Table은 물리 데이터 테이블을 감싸고, Feature Service는 모델 학습과 추론에 쓰이는 논리적 Feature 묶음으로 구분한다.
Trainkit은 PyTorch Lightning의 LightningDataModule을 확장해 데이터 로딩부터 전처리와 배치 생성까지 공통 인터페이스로 정형화한다.
시간 파티션 Shift로 학습 시점의 데이터 누수를 줄이고, PIT 조인은 런타임에 수행해 반복 Feature의 메모리 중복을 줄인다.

소개

토스의 사내 Feature Store와 학습 파이프라인 자동화를 위한 도구 Trainkit을 소개합니다.

비슷한 학습 자료

컨퍼런스 SLASH

토스ㅣSLASH 24 - ML 플랫폼으로 개발 속도와 안정성 높이기

컨퍼런스 SLASH

머신러닝 모델을 빠르고 안정적으로 개발할 수 있는 방법은 없을까요? 토스에서 ML 플랫폼을 통해 어떻게 이 문제를 해결하고 있는지 소개합니다. 김찬주 / ML Chapter Lead 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #machinelearning #machinelearningplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고...

데브옵스 · 인프라 딥러닝 · 머신러닝

컨퍼런스 SLASH

토스ㅣSLASH 24 - Feature Store로 유연하게 ML 고도화하기

컨퍼런스 SLASH

여러 ML 모델의 학습과 서빙에 사용되는 수많은 Feature들을 어떻게 관리해야 될까요? 이를 해결하기 위한 Feature Store 개발 과정을 소개합니다. 이현준 / 토스 Machine Learning Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #machinelearning #ml 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정...

데이터베이스 딥러닝 · 머신러닝

컨퍼런스 SLASH

토스ㅣSLASH 22 - 물 흐르듯 자연스러운 ML 서비스 만들기

컨퍼런스 SLASH

회사마다 다른 AI, ML 적용 방식. 토스에서는 어떻게 사용하고 있을까요? 대규모 서비스에 최적화된 기술 스택과 인프라를 기반으로 머신러닝 서비스를 만들고 배포하는 과정을 공유합니다. 고석현 / 토스 Machine Learning Engineer 발표 자료 👉🏻 https://bit.ly/3xoIift 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH

데브옵스 · 인프라 딥러닝 · 머신러닝