카카오 광고 AI 추천 MLOps 아키텍처 - Feature Store 편 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
광고 추천 모델별로 학습 파이프라인을 따로 운영하던 레거시 환경에서는 피처 정책이 파편화되고, 학습·서빙 간 데이터 불일치와 데이터 사이언티스트의 실험 지연이 발생했다. 이를 개선하기 위해 카카오 광고 추천팀은 Yggdrasil을 구축해 키-값 및 시계열 Feature Store, 피처 카탈로그, 웹 UI와 공통 ETL 쿼리 엔진을 연결했다. Kafka 로그를 피처와 조인해 Cassandra에 저장하고, 피처 버전을 기록해 광고 노출 시점과 반응 로그 처리 시점의 피처를 맞추며, 학습 데이터는 필터링·조인·샘플링을 거쳐 Parquet 파일로 생성한다. 중앙화된 피처 관리와 사용자 직접 설정으로 일관성과 재사용성을 높이고 실험 병목을 줄였으며, 향후 Iceberg 기반 장기 데이터 보관과 피처 통계·집계 기능 등을 확장할 계획이다.
- 학습과 추론에서 같은 피처를 쓰려면 피처 정의와 데이터 소스 매핑을 중앙에서 관리해야 한다.
- 광고 노출 시점의 피처 버전을 기록하고 반응 로그 처리 때 재사용하면 시간 차이에 따른 학습·서빙 불일치를 줄일 수 있다.
- 데이터 사이언티스트가 UI에서 피처와 파이프라인을 직접 설정하도록 하면 실험 과정의 엔지니어 의존성을 낮출 수 있다.
- 대용량 스트리밍 로그는 필터링·조인·샘플링을 공통 ETL 엔진으로 처리해 파이프라인 중복과 운영 부담을 줄인다.
- 장기 데이터 보관과 집계 피처 지원은 기존 저장소의 한계를 고려해 Iceberg, Druid 등의 도입과 함께 확장할 수 있다.
소개
광고추천 조직의 Ai MLOps - Yggdrasil 시스템 중 Feature Store 플랫폼에 대해서 소개합니다. 데이터 사이언티스트 친화적으로 구축하여 학습 및 추론 요구사항을 만족시키고, 효율적이며 일관적인 피처 관리를 달성한 점을 중점적으로 다룹니다. 특히, raw data로부터 feature를 추출하여 적절히 가공하고, 페타바이트 이상의 조단위 건의 대용량 데이터를 처리하는 내용을 공유하고자 합니다. #AI #FeatureStore #MLOps #Data 광고추천개발에서 데이터 엔지니어링을 하고 있는 Ben입니다. 광고추천 조직의 Eli입니다. MLOps 의 Feature, 모델을 기술적으로 다루는 업무를 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-19 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술...
비슷한 학습 자료
컨퍼런스 if kakao
카카오 데이터와 AI로 완성하는 광고 최적화
컨퍼런스 if kakao
if(kakao)25 대규모 유저 행동 데이터와 광고 성과를 분석하여, 단순 리포팅을 넘어 구체적인 데이터 인사이트와 최적화 액션을 생성하는 AI Agent인 AdOpt의 설계 및 구현 사례를 소개합니다. #TECH #PRODUCT #General AI 기술로 광고주를 위한 더 나은 서비스를 고민하고 있는 AdOpt스쿼드 PO 전석원 (harvey)입니다. 이전에는 광고추천랭킹팀에서 AI/ML 모델과 자동입찰모델 개발을 담당했습니다. 카카오에서 여러 기술, 특히나 LLM의 활용에 관심이 많은 김민수(daniel.tomi)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=20 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 프로덕트 지표 · 실험
컨퍼런스 if kakao
AI 기반 광고 추천 시스템에서 스파크 스트리밍은 실시간 데이터 처리를 위한 핵심 구성 요소로 작동합니다. 이 파이프라인은 사용자 행동 데이터를 실시간으로 수집하고 처리하여 개인화된 광고를 추천하는 데 사용됩니다. 이번에 발표할 내용은 스파크 파이프라인 아키텍처와 스파크를 효과적으로 모니터링하기 위한 방법들을 소개합니다. #카프카 #스파크 #실시간_파이프라인 #빅데이터 광고추천팀에서 실시간 데이터 프로세싱과 서빙을 맡고 있는 Cory입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-23 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
카카오클라우드 MLOps 활용 방안 소개 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오클라우드 위에서 AI를 위한 데이터 수집부터 모델 개발, 학습, 튜닝, 서빙까지의 파이프라인 구성과 활용 방안에 대해 소개합니다. #빅데이터 #MLops #AI #Cloud 카카오클라우드에서 Data 및 Machine Learning 플랫폼 PM을 담당하고 있는 Evan입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-22 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝 클라우드
컨퍼런스 if kakao
카카오페이 MLOps 적용기 (feat. AWS) / if(kakao)2022
컨퍼런스 if kakao
카카오페이에서 MLOps 시스템을 구축하여 적용한 사례를 공유합니다. MLOps의 핵심 구성요소인 모델 학습 파이프라인, Feature Store, 모델 Serving 의 구축과정을 상세하게 설명합니다. #MLOps #모델학습파이프라인 #FeatureStore #모델Serving #AWS 카카오페이 MLOps TF 웨더입니다. 대용량 데이터 처리를 위한 서버 엔지니어링에 관심이 많습니다. 카카오페이 MLOps TF 레이첼입니다. 머신러닝 모델 개발 및 서빙 환경 개발/구축을 하고 있습니다. 카카오페이 MLOps TF 옐로입니다. 클라우드 기반의 데이터 엔지니어링에 관심이 많습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-67 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨...
데브옵스 · 인프라 딥러닝 · 머신러닝 클라우드
컨퍼런스 if kakao
카카오뱅크의 MLOps / if(kakao)2022
컨퍼런스 if kakao
데이터과학자가 개발한 ML 모델을 서비스에 빠르게 적용하기 위한 방법을 모색합니다. MLOps를 만들어 가기 위한 툴로 다양한 Open Source가 존재하지만, 각자의 회사에 알맞은 시스템 구성이 필요합니다. 본 세션에서는 MLOps에 대해 고민했던 내용에 대해 말씀드리고, 카카오뱅크만의 MLOps 시스템 구성부터 주요 콤포넌트 그리고 서비스 적용에 대한 경험을 공유합니다. #ML #mlops #아키텍처 #시스템구성 #MLPipeline #라이브러리 #MLModelServing 카카오뱅크 빅데이터분석팀 토비입니다.MLOps 프로젝트를 2년간 진행해 오면서, 다양한 경험을 할 수 있었습니다. 카카오뱅크만에 MLOps 문화를 만들기 위해 노력하고 있고요. ML모델을 서비스에 적용하기 위한 일련의 과정을 자동화하고 있습니다. 그동안 경험 했던, 카카오뱅크의 MLOps를 공유 드리려고 합니다. 많은 관심 부탁드립니다. 감사합니다. 발표자료 보기 👉https://speakerde...
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 if kakao
Preview AI_1 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_1 관련 기술 발표 트랙을 소개합니다. 03:40 1. Explainable Recommendation in 카카오웹툰 by 최규민(pi.314) 카카오 추천팀에서 사용자에게 좋은 추천이 무엇인지를 찾고 싶어하는 pi입니다. 04:12 2. 셀피인증: 안면인식 기술을 이용한 비대면 실명확인 시스템 개발 이야기 by 정기수(victor.y) 카카오뱅크 인식기술팀에서 딥러닝 관련 업무를 담당하고있는 Victor입니다 04:32 3. 터치 습관으로 비대면 금융을 더 안전하게 by 신동화(barney.s) 카카오뱅크 금융기술연구소에서 연구개발 업무를 담당하고 있는 Barney입니다. 04:58 4. VisualComputing for Kakaomap Part: 비주얼 컴퓨팅을 활용한 카카오맵 파트III by 박영욱(thomas.young) 카카오의 비주얼컴퓨팅을 담당하고 있는 Thomas입니다. 카카오맵 발전을 위한 기술 개발을 진행하고 ...
딥러닝 · 머신러닝 컴퓨터 비전