실시간 추천 시스템을 위한 Feature Store 구현기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
하이퍼커넥트는 온라인 유저 간 추천에서 실시간 피처가 중요했지만, 학습·서빙 데이터의 불일치와 피처 추가에 드는 엔지니어링 비용, 추천 시스템별 파이프라인 중복을 겪었다. 이를 해결하기 위해 BigQuery와 온라인 저장소를 연결하는 자체 Feature Store를 만들고, Git 기반 YAML 피처 정의와 배치·실시간 양방향 동기화, 온라인 피처 읽기 API를 제공했다. 배치 피처는 Airflow와 SQL로 처리하고, 실시간 피처는 Kafka 이벤트를 받아 스트리밍 애플리케이션에서 계산해 저장하도록 구성했다. 도입 후 데이터 불일치가 크게 줄고 피처 재사용과 실험 준비가 쉬워졌으며, 핵심 요구사항에 집중하고 기존 인프라를 활용하는 것이 자체 플랫폼 구축의 중요한 교훈이었다.
- 학습과 서빙에서 같은 피처를 쓰도록 정의와 저장 경로를 중앙화하면 데이터 불일치를 줄일 수 있다.
- 피처 정의를 Git 저장소의 YAML로 관리하고, 변경을 리뷰·승인한 뒤 스키마와 API를 자동 생성한다.
- 배치 피처는 BigQuery에서 온라인 저장소로, 실시간 피처는 Kafka 이벤트를 처리해 온라인에서 오프라인으로 동기화한다.
- 온라인 DB에 추천 서버가 직접 접근하게 하기보다 읽기 API를 두면 접근 제어와 캐싱, 직렬화 방식을 한곳에서 관리할 수 있다.
- 플랫폼을 직접 만들 때는 모든 기능을 구현하기보다 조직의 핵심 요구사항을 먼저 해결하고 기존 인프라를 활용하는 편이 현실적이다.
소개
[DEVIEW 2023] * 발표자 : 이영수(하이퍼커넥트) * 발표제목 : 실시간 추천 시스템을 위한 Feature Store 구현기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 당근 밋업
당근마켓은 GCP를 왜, 어떻게 사용하고 있을까요? 인프라 관점에서 GCP를 활용해 본 당근의 이야기를 들려드려요. 🥕 추천 시스템 with DataFlow: 대규모 데이터 파이프라인 구성 (유경윤/ML 데이터플랫폼 팀) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#26428c3a9f8f8076b2bdd588558146a1 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
딥러닝 · 머신러닝 클라우드
컨퍼런스 if kakao
광고추천 조직의 Ai MLOps - Yggdrasil 시스템 중 Feature Store 플랫폼에 대해서 소개합니다. 데이터 사이언티스트 친화적으로 구축하여 학습 및 추론 요구사항을 만족시키고, 효율적이며 일관적인 피처 관리를 달성한 점을 중점적으로 다룹니다. 특히, raw data로부터 feature를 추출하여 적절히 가공하고, 페타바이트 이상의 조단위 건의 대용량 데이터를 처리하는 내용을 공유하고자 합니다. #AI #FeatureStore #MLOps #Data 광고추천개발에서 데이터 엔지니어링을 하고 있는 Ben입니다. 광고추천 조직의 Eli입니다. MLOps 의 Feature, 모델을 기술적으로 다루는 업무를 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-19 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술...
데이터베이스 딥러닝 · 머신러닝
컨퍼런스 DEVIEW 2023
언어 모델 기반의 범용 유저 임베딩과 이를 활용한 추천시스템 및 광고 타겟팅
컨퍼런스 DEVIEW 2023
상황에 맞는 취향 장소 발견하기. HyperLocal 추천 시스템 A to Z
컨퍼런스 DEVIEW 2023