AI 기반 광고 추천 파이프라인에서 스파크 스트리밍의 배포 및 모니터링 전략 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
기존 광고 추천 지표 파이프라인은 언어와 배포 방식이 파편화되고 스키마가 코드에 하드코딩되어, 배포 오류를 늦게 발견하거나 파이프라인 상태를 파악하기 어려웠다. 이를 해결하기 위해 Scala와 SBT 기반의 단일 저장소로 배치·스트림 처리를 통합하고, MongoDB에 파이프라인 설정과 스키마를 저장해 웹에서 관리하도록 바꿨다. Spark Structured Streaming의 진행 이벤트에서 파티션별 오프셋과 처리량을 수집하고, 별도 Kafka 컨슈머로 오프셋을 커밋해 컨슈머 지연을 모니터링했다. 수집한 지표는 Kafka를 거쳐 시계열 데이터베이스에 적재하고 Grafana 대시보드와 알람에 연결해, 배포와 운영을 일원화하고 문제에 더 빠르게 대응할 수 있게 했다.
- Spark Structured Streaming의 진행 이벤트에서 파티션별 오프셋과 입출력 레코드 수를 추출해 커밋과 모니터링에 활용한다.
- 컨슈머 지연을 외부에서 관찰해야 한다면 처리 오프셋을 별도 Kafka 컨슈머로 커밋하는 방식을 검토할 수 있다.
- 파이프라인별 설정은 MongoDB에 저장하고 웹 인터페이스로 관리해 코드에 설정을 하드코딩하지 않도록 한다.
- Spark 애플리케이션의 커스텀 지표를 Kafka와 시계열 데이터베이스로 전달하면 여러 애플리케이션을 통합 대시보드에서 살펴볼 수 있다.
소개
AI 기반 광고 추천 시스템에서 스파크 스트리밍은 실시간 데이터 처리를 위한 핵심 구성 요소로 작동합니다. 이 파이프라인은 사용자 행동 데이터를 실시간으로 수집하고 처리하여 개인화된 광고를 추천하는 데 사용됩니다. 이번에 발표할 내용은 스파크 파이프라인 아키텍처와 스파크를 효과적으로 모니터링하기 위한 방법들을 소개합니다. #카프카 #스파크 #실시간_파이프라인 #빅데이터 광고추천팀에서 실시간 데이터 프로세싱과 서빙을 맡고 있는 Cory입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-23 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
커뮤니티로 진화한 오픈채팅, AI로 슬기롭게 연결하다
컨퍼런스 if kakao
if(kakao)25 더 많은 사용자를 만나기 위한 오픈채팅의 변화, 새로운 커뮤니티를 소개합니다. (발표자: 김초은) 커뮤니티 콘텐츠 추천 AI 기술: 아무것도 없는 곳에서 길 찾기 (발표자: 김선범) #PRODUCT #TECH #Community #AI 카카오에서 오픈채팅 제품 기획, 운영을 담당하고 있는 김초은(chelsea.kim)입니다. 카카오에서 AI 추천 기술 연구 및 개발을 담당하고 있는 김선범(jeffrey.1002)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=11 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 프로덕트 지표 · 실험
컨퍼런스 if kakao
카카오 데이터와 AI로 완성하는 광고 최적화
컨퍼런스 if kakao
if(kakao)25 대규모 유저 행동 데이터와 광고 성과를 분석하여, 단순 리포팅을 넘어 구체적인 데이터 인사이트와 최적화 액션을 생성하는 AI Agent인 AdOpt의 설계 및 구현 사례를 소개합니다. #TECH #PRODUCT #General AI 기술로 광고주를 위한 더 나은 서비스를 고민하고 있는 AdOpt스쿼드 PO 전석원 (harvey)입니다. 이전에는 광고추천랭킹팀에서 AI/ML 모델과 자동입찰모델 개발을 담당했습니다. 카카오에서 여러 기술, 특히나 LLM의 활용에 관심이 많은 김민수(daniel.tomi)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=20 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 프로덕트 지표 · 실험
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
광고추천 조직의 Ai MLOps - Yggdrasil 시스템 중 Feature Store 플랫폼에 대해서 소개합니다. 데이터 사이언티스트 친화적으로 구축하여 학습 및 추론 요구사항을 만족시키고, 효율적이며 일관적인 피처 관리를 달성한 점을 중점적으로 다룹니다. 특히, raw data로부터 feature를 추출하여 적절히 가공하고, 페타바이트 이상의 조단위 건의 대용량 데이터를 처리하는 내용을 공유하고자 합니다. #AI #FeatureStore #MLOps #Data 광고추천개발에서 데이터 엔지니어링을 하고 있는 Ben입니다. 광고추천 조직의 Eli입니다. MLOps 의 Feature, 모델을 기술적으로 다루는 업무를 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-19 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술...
데이터베이스 딥러닝 · 머신러닝
컨퍼런스 if kakao
그래프 기반 악성 유저군 탐지: 온라인 광고 도메인에서의 적용 / if(kakaoAI)2024
컨퍼런스 if kakao
온라인 광고 도메인에서 해당 방식을 적용하는 것에 관해 다룹니다. 매체(앱, 웹) 간의 공통 방문 그래프를 활용해 온라인 광고 생태계에서 악성 유저군을 자동으로 탐지 및 필터링하는 기술을 소개합니다. #광고추천 #ad #fraud_detection #abusing #network_algorithm #graph-based_ML 광고추천팀의 John입니다. 광고주의 이익을 지키기 위해 이상탐지 기술로 카카오 내외부 광고 매체의 악성 트래픽을 탐지하고 방지합니다. 광고추천의 Issac입니다. 온라인 광고의 어뷰징 방지를 통해 광고주의 이익을 지키는 방법에 대해 연구&적용하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-13 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
알고리즘 · 자료구조 딥러닝 · 머신러닝
컨퍼런스 if kakao
Preview AI_1 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_1 관련 기술 발표 트랙을 소개합니다. 03:40 1. Explainable Recommendation in 카카오웹툰 by 최규민(pi.314) 카카오 추천팀에서 사용자에게 좋은 추천이 무엇인지를 찾고 싶어하는 pi입니다. 04:12 2. 셀피인증: 안면인식 기술을 이용한 비대면 실명확인 시스템 개발 이야기 by 정기수(victor.y) 카카오뱅크 인식기술팀에서 딥러닝 관련 업무를 담당하고있는 Victor입니다 04:32 3. 터치 습관으로 비대면 금융을 더 안전하게 by 신동화(barney.s) 카카오뱅크 금융기술연구소에서 연구개발 업무를 담당하고 있는 Barney입니다. 04:58 4. VisualComputing for Kakaomap Part: 비주얼 컴퓨팅을 활용한 카카오맵 파트III by 박영욱(thomas.young) 카카오의 비주얼컴퓨팅을 담당하고 있는 Thomas입니다. 카카오맵 발전을 위한 기술 개발을 진행하고 ...
딥러닝 · 머신러닝 컴퓨터 비전