![[팀네이버 컨퍼런스 DAN25] 물과 실험은 셀프입니다: 대규모 검색 서비스의 셀프서브 프로세스 정착기](https://i.ytimg.com/vi/cw_gCB8TxrY/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] 물과 실험은 셀프입니다: 대규모 검색 서비스의 셀프서브 프로세스 정착기
DAN 2025 네이버 · YouTube
AI 핵심 요약
네이버 검색에서는 실험 요청의 증가와 복잡화로 소수 분석가가 모든 설계와 분석을 맡기 어려워지자, 실무자가 실험을 주도하는 셀프서브 프로세스를 도입했다. 여러 서비스가 한정된 검색 지면을 공유하는 문제에는 블록 특성과 변화 범위에 맞춘 지표 체계인 Metric Store를 마련하고, 지표 중복과 활용도를 점검해 관리했다. AB 테스트는 유저 단위로 실행되지만 실무자는 특정 검색어의 개선을 알고 싶다는 간극을 줄이기 위해 타깃 쿼리셋 분석과 쿼리 단위 모니터링을 제공했다. 도구와 프로세스뿐 아니라 반복적인 교육과 소통이 셀프서브 문화를 정착시키는 데 중요하다는 점을 강조했다.
- 실험 설계 단계부터 실무자를 참여시켜 가설과 지표를 함께 정하면 분석 결과를 실제 의사결정에 연결하기 쉽다.
- 검색처럼 여러 서비스가 같은 지면을 쓰는 환경에서는 블록별 목표뿐 아니라 지면 전체의 변화와 카니발라이제이션도 함께 살펴야 한다.
- 지표가 많아지면 다중 검정으로 우연한 유의성이 늘 수 있으므로, 지표 간 중복과 실제 활용도를 점검해 정리한다.
- AB 테스트의 유저 단위 결과와 비즈니스의 쿼리 단위 관심 사이의 간극은 타깃 쿼리셋 분석과 개별 쿼리 뷰로 보완할 수 있다.
- 셀프서브 도구만 제공하는 것으로는 정착하기 어려우며, 실무자 대상 교육과 지속적인 소통이 필요하다.
소개
[팀네이버 컨퍼런스 DAN25] 물과 실험은 셀프입니다: 대규모 검색 서비스의 셀프서브 프로세스 정착기 1. 셀프 서브: 실험 설계부터 분석까지 실무자가 주도하는 사이클 도입 - ABT의 도입과 확대 - 셀프 서브 Ecosystem 2. ABT 설계를 위한 지표 체계: Metric Store - 한정된 지면에 공존하는 서비스 - 지표 춘추전국 시대 - ABT Metric Store - 검색과 함께 호흡하는 Metric Store 3. ABT를 실무와 더 가깝게: Query View - 배경: 비즈니스 상황과 질의 단위 대응의 필요성 - 질의 단위 ABT 지표 분석 - 배포 후 모니터링 플랫폼 QIP과 그 한계 - Synthetic Control / Pseudo Significance Test를 통한 극복 시도 4. 지속적 교육의 중요성 / Outro - 셀프서브 정착을 위해 그동안 진행해 온 교육 프로그램 소개 #DAN #DAN25 #TEAMNAVERCONFERENCE
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 오프닝 키노트: 연결의 진화, 경험의 확장 (English sub)
컨퍼런스 DAN 2025
AI와 함께하는 네이버의 연결의 진화, 경험의 확장 Beyond Connection, Expanding experiences 팀네이버 컨퍼런스 DAN25의 오프닝 키노트에서는 DAN24에서 발표되었던 'On-service AI' 전략을 고도화한 AI 에이전트 ‘Agent N’가 공개되었습니다. 네이버는 그동안의 경험과 기술력을 바탕으로, 쇼핑∙검색∙광고 등 네이버 주요 서비스에 순차적으로 고도화된 에이전트를 도입할 예정입니다. 다양한 서비스부터 B2B까지 아우를 네이버의 'Agent N'을 기대해 주세요. Introducing NAVER's AI Agent Strategy — a vision for new connections across everyday life, business, and society in the AI era. * DAN25 오프닝 키노트를 포함한 전 세션 다시보기는 네이버 공식 네이버TV, 유튜브 계정에서 곧 만나볼 수 있습니다. #DAN #DAN25 ...
AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Keynote 01: 검색을 넘어 실행까지: 사용자 경험의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Keynote 01: 검색을 넘어 실행까지: 사용자 경험의 진화 [TEAM NAVER Conference DAN25] Keynote 01: From Search to Seamless Action: Evolving User Experience 검색에서 발견과 탐색으로의 확장 여정과, AI 시대를 맞아 에이전트로 진화하는 네이버의 변화 방향을 소개합니다. Introducing the journey of expanding from 'search' to 'discovery and exploration', and NAVER's transformative direction as it evolves into an Agent in the AI era. #DAN #DAN25 #TEAMNAVERCONFERENCE
AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Deep Dive 01 에이전틱: 서치 개인화와 실행까지 연결하는 검색 경험 [TEAM NAVER Conference DAN25] Deep Dive 01 Agentic Search: Personalized & Actionable Search Experience 네이버의 방대한 데이터를 기반으로 AI가 사용자의 의도와 맥락을 깊이 이해해, 검색이 정보 탐색을 넘어 사용자가 원하는 것을 먼저 제안하고 실행까지 연결하는 네이버 검색의 진화 방향을 소개합니다. In this session, he shares how NAVER Search is evolving from information retrieval to proactive experiences that anticipate user needs and seamlessly connect to action. #DAN #DAN25 #TEAMNAVERCONFERENCE
AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 사용자가 이끄는 경험, 네이버의 기준이 되다
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 사용자가 이끄는 경험, 네이버의 기준이 되다 네이버의 경험조직에 대한 소개와 함께 사용자관점이 사업과 서비스의 의사결정에 어떤 과정을 통해 중요한 영향을 미치는지 과정과 경험을 공유하려 합니다. 목차 1. 사용자는 우리에게, 우리는 사용자에게 - 네이버다움 : users as our compass 2. 네이버의 경험조직 - 사용자 관점을 통한 의사결정 : making experience matter 3. 버티컬 경험 측정과 개선 - 경험 측정과 경험 진단 - Life Stage, Life Style, 다양한 persona 개발 4. 횡적 경험 연계를 위한 사용자 리서치 - 전사 서비스를 아우르는 일관된 경험 기준 - 서비스 경계를 넘나드는 사용자 행태 조사 대상 - 효율적이고 빠른 사업/서비스 의사결정 기여에 관심 있는 리서쳐, UXer - 사용자데이터 기반 의사결정이 필요한 프로덕트 리더, PM, PO #DAN #DAN25 #TEAMNAVER...
UI/UX 프로덕트 지표 · 실험
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화 본 세션에서는 생성형 AI를 활용하여 네이버 검색 결과를 요약 제공하는 AI브리핑 서비스를 소개하고, 서비스 출시 과정의 기술과 노하우를 공유합니다. 서비스를 구성하는 컴포넌트별로 필요한 LLM 모델을 튜닝하고, 파이프라인을 구축하여 서빙하는 과정, 그리고 서비스별 니즈를 만족시키기 위해 특화된 LLM모델링 및 프롬프트 엔지니어링을 수행하는 과정들에 대해 공유합니다. 목차 1. AI브리핑 소개 - 검색과 AI의 만남 - AI브리핑 시스템 overview - AI브리핑의 다양한 라인업 및 성과 2. AI브리핑 시스템 들여다보기 - AI브리핑을 위한 검색 시스템 소개 - 지속가능한 모델 개선 파이프라인 - AI브리핑 등장 후 네이버 검색 품질의 변화 3. 서비스 특화된 AI브리핑 - 다양한 사용자의 요구를 만족하기 위한 차별화된 시도 - Docume...
AI에이전트 개발 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 사용자에 대한 이해로부터 : 검색과 홈피드 서비스의 성장 문법
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 사용자에 대한 이해로부터 : 검색과 홈피드 서비스의 성장 문법 본 세션에서는 네이버 검색 및 홈피드 서비스의 성장을 정의하는 체계적인 문법을 제안하며, 데이터 분석 관점에서 현재 서비스의 성장 현황을 다양한 사례를 통해 소개합니다. 목차 1. 서비스의 성장을 정의하는 문법 2. 네이버 홈피드 서비스의 성장 문법 3. 네이버 검색 서비스의 성장 문법 대상 - 서비스 성장(Growth) 관련 업무를 담당하는 데이터 분석가 - 서비스 혁신과 개선을 추구하는 개발자 및 엔지니어 - IT 서비스의 데이터 기반 성장 전략에 관심 있는 프로덕트 매니저 - 네이버 검색과 홈피드에서의 일하는 방식이 궁금한 일반 사용자 #DAN #DAN25 #TEAMNAVERCONFERENCE
프로덕트 매니지먼트 프로덕트 지표 · 실험