수십억 개 연결이 존재하는 당근 그래프에서 GNN 학습하기 | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근의 중고거래·알바·모임 등 여러 서비스에서 쌓이는 연결을 활용해, 여러 추천 모델에 공통으로 쓸 유저 임베딩을 만드는 것이 목표였다. TensorFlow-GNN의 그래프 텐서와 분산 샘플링을 이용해 대규모 그래프를 학습하고, 게시글을 하나의 노드 유형으로 묶는 바이파타이트 그래프와 PinSage 기반 대조 학습을 적용했다. 같은 콘텐츠를 소비한 유저를 긍정 쌍으로 삼는 방식에서 생기는 모호성과 지역 편향을 줄이기 위해 카테고리 단위로 유사성을 정의했으며, 임베딩을 후보 생성과 랭킹 모델에 적용했다. 온라인 실험에서 추천 지표의 긍정적인 변화를 확인해 배포했고, 대규모 그래프에서는 그래프 정의와 샘플링·학습 목표를 함께 설계하고 서비스 실험으로 검증해야 한다는 점을 얻었다.
- 그래프의 노드와 엣지를 어떻게 정의하느냐에 따라 서비스 연결의 표현력과 샘플링 효율이 달라진다.
- 대규모 그래프에서는 전체 데이터를 메모리에 올리기보다 분산 샘플링으로 학습용 서브그래프를 구성한다.
- PinSage의 대조 학습을 적용할 때는 어떤 유저를 긍정·부정 쌍으로 볼지 신중하게 설계해야 한다.
- 콘텐츠 단위 대신 카테고리 단위로 유사성을 정의하면 지역에 치우치지 않는 유저 임베딩을 학습할 수 있다.
- 오프라인 손실이나 지표만으로 임베딩의 서비스 가치를 판단하기 어려우므로 온라인 실험으로 효과를 확인한다.
소개
이 세션에서는 중고거래, 당근알바, 모임 등 당근의 다양한 서비스를 하나의 거대한 그래프 구조로 정의하고, 이를 Graph Neural Network로 학습하여 실제 피드 추천에 적용한 과정을 소개해요. 이 과정에서 겪은 기술적인 문제들이 있었는데요. 그중에서 수십억 개의 연결을 가진 그래프를 효율적으로 처리하기 위해 TensorFlow-GNN을 도입해서 분산 처리를 진행한 과정과 핀터레스트에서 발표한 PinSage 방법론을 당근의 그래프 정의에 맞게 적용했던 과정을 설명할 거예요. 마지막으로 학습된 모델을 피드 추천에 이용하는 과정도 함께 소개해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
ML Infrastructure with GCP | 2025 당근 GCP 밋업
컨퍼런스 당근 밋업
당근마켓은 GCP를 왜, 어떻게 사용하고 있을까요? 인프라 관점에서 GCP를 활용해 본 당근의 이야기를 들려드려요. 🥕 추천 시스템 with DataFlow: 대규모 데이터 파이프라인 구성 (유경윤/ML 데이터플랫폼 팀) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#26428c3a9f8f8076b2bdd588558146a1 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
딥러닝 · 머신러닝 클라우드
컨퍼런스 당근 밋업
당근 추천 알고리즘 - 홈피드 후보모델 파헤치기 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
“매일 당근에 새로 생성되는 중고거래 게시글 X만 개. 어떤 글을 추천할까?” 당근의 후보모델을 소개해요. 후보모델 학습부터 서빙까지 어떻게 지역성과 범용성을 갖추었는지 궁금하지 않으신가요? 당근 추천의 핵심 컴포넌트인 후보 모델 파이프라인은 7개 이상의 타입의 글에 대해 하루에 1,000번 이상 실행되는 확장성을 갖추고 있어요. 이 파이프라인과 함께 당근의 지역성을 기반으로 후보모델의 성능을 높이기 위해 적용한 다양한 Negative Sampling Strategy를 설명해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
딥러닝 · 머신러닝
컨퍼런스 당근 밋업
당근 채팅 시스템은 어떻게 만들까? | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
당근 채팅 시스템이 탄생한 과정을 소개해요. 당근의 수많은 사용자들이 실시간으로 메시지를 주고받는 방법과 이를 효율적으로 저장하는 방식이 궁금하지 않으신가요? 이 세션에서는 먼저 메시지 전달의 기본 원리를 살펴본 후, 서버가 2대일 때 발생하는 메시지 동기화 방법과 서버 간 비동기 처리 방식을 설명해요. 저장 측면에서는 필요한 기능, 스키마 설계, 스케일 업, 인덱싱, 쿼리 최적화, 캐싱 기법 등 다양한 주제를 다루어요. 또한 리플리케이션과 샤딩, 채팅 데이터의 분할 방법 및 저장소 마이그레이션 경험을 쉽게 이야기하려 해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
백엔드 데이터베이스 네트워크
컨퍼런스 당근 밋업
당근 ML인프라 A to Z : 현재와 미래 | 당근 ML 밋업 1회
컨퍼런스 DEVIEW 2023