언어 모델 기반의 범용 유저 임베딩과 이를 활용한 추천시스템 및 광고 타겟팅
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
네이버의 여러 서비스에 쌓인 유저 데이터를 서비스별로만 활용하면 다른 추천·광고 태스크에 재사용하기 어렵다는 문제에서 출발해, 자연어 형태의 유저 행동 시퀀스를 학습하는 범용 유저 임베딩 모델을 만들었다. 모델은 다음 행동을 예측하는 언어 모델링과 추천 태스크를 함께 학습하고, 다른 서비스의 데이터도 언어 모델링에 활용해 표현의 범용성을 높였다. 대규모 모델을 각 서비스에서 직접 파인튜닝하지 않고 임베딩을 추출해 가벼운 선형 프로브로 전이했으며, 쇼핑 기획전 추천과 신규 광고 타겟팅에 적용해 콜드 유저를 포함한 성능 개선을 확인했다. 발표의 핵심 교훈은 여러 서비스의 데이터를 함께 학습하되 타깃 데이터와 비타깃 데이터를 적절히 섞고, 실제 서빙 제약에 맞는 전이 방식을 선택하는 것이다.
- 서비스별 로그를 자연어 형태의 시퀀스로 구성하고, 다음 항목을 예측하는 언어 모델링을 추천 학습과 함께 수행한다.
- 타깃 서비스 데이터는 추천 태스크와 언어 모델링에 쓰고, 다른 서비스 데이터는 언어 모델링에 활용해 범용 표현을 학습한다.
- 대규모 모델을 서비스마다 파인튜닝하는 대신 임베딩을 추출해 선형 프로브로 전이하면 추론 비용과 모델 크기를 줄일 수 있다.
- 타깃 데이터와 다른 서비스 데이터를 함께 학습하면 특정 데이터에 과적합되는 것을 줄이고, 처음 접하는 서비스에서도 유용한 유저 피처를 얻을 수 있다.
- 광고 타겟팅에서는 시드 유저와 무작위 유저를 구분하는 분류 모델의 점수로 유사 유저를 찾을 수 있다.
소개
[DEVIEW 2023] * 발표자 : 곽하녹, 신규용(NAVER Search) * 발표제목 : 언어 모델 기반의 범용 유저 임베딩과 이를 활용한 추천시스템 및 광고 타겟팅 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 당근 밋업
당근 추천 알고리즘 - 홈피드 후보모델 파헤치기 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
“매일 당근에 새로 생성되는 중고거래 게시글 X만 개. 어떤 글을 추천할까?” 당근의 후보모델을 소개해요. 후보모델 학습부터 서빙까지 어떻게 지역성과 범용성을 갖추었는지 궁금하지 않으신가요? 당근 추천의 핵심 컴포넌트인 후보 모델 파이프라인은 7개 이상의 타입의 글에 대해 하루에 1,000번 이상 실행되는 확장성을 갖추고 있어요. 이 파이프라인과 함께 당근의 지역성을 기반으로 후보모델의 성능을 높이기 위해 적용한 다양한 Negative Sampling Strategy를 설명해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
딥러닝 · 머신러닝
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
파파고의 빨간펜 선생님: 자동 번역 품질 평가 모델 구축과 응용
컨퍼런스 DEVIEW 2023
상황에 맞는 취향 장소 발견하기. HyperLocal 추천 시스템 A to Z
컨퍼런스 DEVIEW 2023
DEVIEW 2023 - 키노트 영상
컨퍼런스 엔지니어링데이 2025
대규모 언어모델 너도 나도 업무에 사용해보자: To Beginner - 이주성_NEDAY 23.07
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(7월)에서 발표되었던 세션을 공개합니다. ----- Contents Understanding팀의 이주성입니다. 네이버서치, UGC에 관한 모델링 업무를 하고 있습니다. 그중에서 텍스트위주의 데이터로부터 AI 모델링을 주로 하고 있습니다. 최근 대규모 언어모델이 핫한 트렌드로 떠오르면서 많은 사람들이 이를 활용해보고자 합니다. 업무에 대규모 언어모델을 활용한 경험을 토대로 간단한 사용법들을 공유하고자 합니다. [발표 목차] 발표개요 언어모델로 할 수 있는 것 언어모델을 사용할 수 있는 사이트 언어모델을 활용한 서비스 많은 요청에 대해 처리하기 모델러들이 활용하는 법 [세부 내용] 대규모 언어모델을 어디에 사용할 수 있는지 소개 대규모 언어모델을 사용하는 방법에 대해 소개 (외부모델, 사내모델) 이와 연관된 다양한 서비스 AI 모델러입장에서 활용할 수 있는 방향 발표 컨텐츠의 키워드 [강의 대상] 대규모 언어...
자연어 처리