추천 서빙 시스템 아키텍처: 높은 생산성을 위한 아키텍쳐 및 ML Flywheel | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근은 콘텐츠와 추천 지면이 늘어날 때 추천 로직이 서버별로 파편화되고 실험과 개선이 느려지는 문제를 해결하기 위해 공통 추천 서빙 플랫폼인 Recommend Engine을 구축했습니다. 설정, 후보 생성, 피처 보강, 필터링, 스코어링, 재정렬을 레이어로 나누고 추상화된 데이터 모델과 설정을 사용해 여러 추천 흐름을 구성하며, 실험별 설정을 서버 재배포 없이 반영하도록 했습니다. 또한 응답 오류뿐 아니라 콘텐츠 노출량과 예측 점수의 분포, 레이어별 지연 시간과 배치 동작을 모니터링해 실험 중에도 추천 품질과 안정성을 살폈습니다. 서빙 시점의 데이터를 로깅해 학습에 다시 사용하는 Log and Wait 방식으로 학습·서빙 간 데이터 불일치와 복잡한 피처 처리 부담을 줄이고, 서빙과 학습이 이어지는 ML Flywheel을 만들었습니다.
- 추천 단계를 레이어로 나누고, 각 단계의 구현을 추상화한 설정으로 조합하면 새 지면과 콘텐츠 유형을 더 쉽게 지원할 수 있습니다.
- 실험 설정은 실험 키와 사용자별 실험 그룹을 기준으로 선택하고, 원격 설정을 로컬에 전파해 서버 재배포 없이 빠르게 반영합니다.
- 추천 서비스는 정상 응답 여부만으로 의도한 결과를 보장할 수 없으므로, 콘텐츠 유형별 노출량과 예측 점수의 분포를 실험 단위로 살펴야 합니다.
- 팬아웃이 많은 서빙에서는 배치 크기와 레이어별 지연 시간을 함께 관찰해 성능과 리소스 사용량을 조정합니다.
- 서빙 시점의 데이터를 기록해 학습에 재사용하면 학습·서빙 간 데이터 불일치를 줄이고, 복잡한 피처를 미리 계산해 활용할 수 있습니다.
소개
당근 추천 서빙 시스템 아키텍처의 전체적인 구조를 소개하고 높은 생산성을 위한 다양한 노력을 살펴봐요. 또한 Log and wait 접근법을 활용하여 머신러닝 기반 추천 모델이 ML Flywheel을 통해 지속적으로 개선되는 과정을 소개해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근마켓은 GCP를 왜, 어떻게 사용하고 있을까요? 인프라 관점에서 GCP를 활용해 본 당근의 이야기를 들려드려요. 🥕 추천 시스템 with DataFlow: 대규모 데이터 파이프라인 구성 (유경윤/ML 데이터플랫폼 팀) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#26428c3a9f8f8076b2bdd588558146a1 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
딥러닝 · 머신러닝 클라우드
컨퍼런스 당근 밋업
당근 추천 알고리즘 - 홈피드 후보모델 파헤치기 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
“매일 당근에 새로 생성되는 중고거래 게시글 X만 개. 어떤 글을 추천할까?” 당근의 후보모델을 소개해요. 후보모델 학습부터 서빙까지 어떻게 지역성과 범용성을 갖추었는지 궁금하지 않으신가요? 당근 추천의 핵심 컴포넌트인 후보 모델 파이프라인은 7개 이상의 타입의 글에 대해 하루에 1,000번 이상 실행되는 확장성을 갖추고 있어요. 이 파이프라인과 함께 당근의 지역성을 기반으로 후보모델의 성능을 높이기 위해 적용한 다양한 Negative Sampling Strategy를 설명해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
딥러닝 · 머신러닝
컨퍼런스 당근 밋업
당근 채팅 시스템은 어떻게 만들까? | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
당근 채팅 시스템이 탄생한 과정을 소개해요. 당근의 수많은 사용자들이 실시간으로 메시지를 주고받는 방법과 이를 효율적으로 저장하는 방식이 궁금하지 않으신가요? 이 세션에서는 먼저 메시지 전달의 기본 원리를 살펴본 후, 서버가 2대일 때 발생하는 메시지 동기화 방법과 서버 간 비동기 처리 방식을 설명해요. 저장 측면에서는 필요한 기능, 스키마 설계, 스케일 업, 인덱싱, 쿼리 최적화, 캐싱 기법 등 다양한 주제를 다루어요. 또한 리플리케이션과 샤딩, 채팅 데이터의 분할 방법 및 저장소 마이그레이션 경험을 쉽게 이야기하려 해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
백엔드 데이터베이스 네트워크
컨퍼런스 DEVIEW 2023
실시간 추천 시스템을 위한 Feature Store 구현기
컨퍼런스 우아콘 2023
추천시스템 성장 일지: 데이터 엔지니어 편 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 추천시스템팀이 만들어지고 본격적으로 추천 서비스 개발이 시작된 지도 어느덧 2년이 지났습니다. 이제 두 돌이 된 추천시스템은 지금 어떤 모습일까요? 추천시스템의 아키텍처와 데이터 파이프라인을 소개합니다. 그리고 지금의 추천시스템의 모습을 가능하게 해준 몇 가지 중요 포인트들을 공유합니다ㅤ ㅤ 👉 발표자 소개 추천시스템 김정헌 누구보다 디지털 미니멀리즘에 관심이 많은 개발자. 추천시스템팀에서 추천 서비스 전반을 개발하고 있습니다. 👍 추천 대상 추천, 검색 등 AI / ML 서비스 개발을 막 시작했거나 시작해보려는 개발자 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 수많은 우여곡절 끝에 완성된 머신러닝 모델! 우리 서비스에서 “어떻게” “잘” 제공할 수 있을까? 여러 추천/ML 모델을 실제 대고객 서비스화하면서 얻은 경험과 사례들을 바탕으로 서빙 시나리오별 장단점, “더 잘 서빙하기 위해” 유의해야할 요소들, 이것들을 고려한 시스템 설계에 대해 짚어봅니다.ㅤ ㅤ 👉 발표자 소개 추천시스템 정현 아동가족학과 출신 개발자. 오디오 엔지니어 경력을 시작으로, 임베디드, 데이터에 이르기까지 다양한 개발 영역을 접해왔습니다. 2016년부터 머신러닝을 검색, 추천 등지에서 대규모 트래픽 서비스, 플랫폼화하는 일을 본격적으로 해오고 있습니다. 대규모 트래픽을 안정적으로 빠르게 처리하는 것과 분산처리, 계산 최적화에 관심이 많습니다. 👍 추천 대상 - 추천/ML 등 모델을 만들었을 때, 고객용 서비스로 어떻게 잘 제공할 수 있을지 궁금한 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면...
백엔드 딥러닝 · 머신러닝 로드맵 1개에 담김