![[팀네이버 컨퍼런스 DAN25] Bruno x AI HPC: AI 검색을 위한 AI 플랫폼](https://i.ytimg.com/vi/LRYRd1rD5xk/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] Bruno x AI HPC: AI 검색을 위한 AI 플랫폼
DAN 2025 네이버 · YouTube
AI 핵심 요약
네이버 검색에서 AI 브리핑과 문서 분류·요약 등에 LLM 활용이 늘면서, 조직마다 GPU 확보부터 모델 배포·운영까지 직접 처리해야 하는 부담이 생겼습니다. 이를 줄이기 위해 자체·오픈 웨이트 LLM을 API로 제공하는 MaaS 플랫폼 Bruno를 구축하고, OpenAI 호환 API와 확장 API, 온디맨드·프로비저닝 서빙, 배치 처리와 데이터 기반 파인튜닝 기능을 제공했습니다. AI HPC는 추론·학습 GPU 클러스터와 CPU 배치 클러스터, 공용 분산 스토리지로 구성했으며, 모델 사전 배포와 GPU 역할별 배치로 구동 시간과 자원 효율을 개선했습니다. 발표에서는 대형 모델의 분산 서빙, 고속 네트워크·스토리지, 입력 특성에 따른 모델 추천을 향후 과제로 제시했습니다.
- 서비스 호출 패턴에 맞춰 간헐적 트래픽은 온디맨드, 상시·대용량 트래픽은 프로비저닝 방식으로 나누면 자원 할당을 최적화할 수 있습니다.
- 모델 이미지와 체크포인트를 GPU 노드에 미리 배포하면 모델 시작 시 다운로드 대기를 줄일 수 있습니다.
- GPU 노드에 실행할 모델의 GPU 규모별 역할을 부여하면 배치 과정에서 발생하는 GPU 단편화를 완화할 수 있습니다.
- 배치 추론은 실시간 추론의 가용 처리량에서 현재 트래픽을 뺀 허용량 안에서 실행해야 실시간 서비스에 미치는 영향을 줄일 수 있습니다.
- 추론·학습 클러스터를 분리하더라도 공용 분산 스토리지를 통해 체크포인트와 데이터를 공유할 수 있습니다.
소개
[팀네이버 컨퍼런스 DAN25] Bruno x AI HPC: AI 검색을 위한 AI 플랫폼 이번 발표에서는 네이버 AI 검색 서비스를 위한 AI 플랫폼인 Bruno 와 이를 뒷받침하는 AI HPC 를 소개합니다. Bruno는 네이버의 자체 LLM 및 오픈 웨이트 LLM 모델을 손쉽게 활용하도록 설계된 MaaS(Model-as-a-Service) 플랫폼입니다. 현재 AI 브리핑을 포함한 네이버 AI 검색 서비스 전반에 활용되고 있습니다. 목차 1. Bruno 소개 - AI 플랫폼 Bruno 소개 및 역할 - AI 검색 서비스 활용 사례 2. LLM 모델 서빙 - 기능 중심 인터페이스: OpenAI API 인터페이스 및 확장 인터페이스 - 처리 전략과 성능 최적화: On-demand 서빙 vs. Provisioned 서빙 - 배치 처리 기능 3. LLM 모델 파인튜닝 - 사용자 데이터 기반 Fine-tuning 지원 4. AI HP...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 사용자의 목소리를 AI로 재현하다: LLM 기반 Multi Agent UX 플랫폼 개발기 “사용자에 진심인 3명이 모여, Persona가 말하게 만들다.” 이 세션은 잘 만든 AI 시스템을 넘어, 디자이너·AI 리서처·개발자가 경험한 AI 시대의 협업 가능성을 제안합니다. 사용자 페르소나봇 NSona의 기획부터 구현, 평가까지 전 과정을 공유합니다. AI로 사용자 리서치 데이터를 실시간 협업 자원으로 전환하며, Multi-Party 대화 시스템에서 사용자와 함께 일하는 방식을 실험했습니다. 세 명은 함께 AI를 만들며 역할과 협업 구조가 바뀌는 경험을 했습니다. 디자이너는 프롬프트를 설계하고, 리서처는 로직을 에이전트 구조로 바꾸었으며, 프론트 개발자는 AI를 비평 대상으로 다뤘습니다. 중요한 건 ‘어디까지 만들었느냐’가 아니라 ‘어디서 시작점을 찍느냐’임을 깨달았습니다. 참석자분들께서 창의적, 기술적 인사이트와 함께 자신만의 AI 협업 모델을...
AI에이전트 개발 UI/UX
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화 본 세션에서는 생성형 AI를 활용하여 네이버 검색 결과를 요약 제공하는 AI브리핑 서비스를 소개하고, 서비스 출시 과정의 기술과 노하우를 공유합니다. 서비스를 구성하는 컴포넌트별로 필요한 LLM 모델을 튜닝하고, 파이프라인을 구축하여 서빙하는 과정, 그리고 서비스별 니즈를 만족시키기 위해 특화된 LLM모델링 및 프롬프트 엔지니어링을 수행하는 과정들에 대해 공유합니다. 목차 1. AI브리핑 소개 - 검색과 AI의 만남 - AI브리핑 시스템 overview - AI브리핑의 다양한 라인업 및 성과 2. AI브리핑 시스템 들여다보기 - AI브리핑을 위한 검색 시스템 소개 - 지속가능한 모델 개선 파이프라인 - AI브리핑 등장 후 네이버 검색 품질의 변화 3. 서비스 특화된 AI브리핑 - 다양한 사용자의 요구를 만족하기 위한 차별화된 시도 - Docume...
AI에이전트 개발 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지 이번 세션은 네이버 플레이스 AI Briefing 생성의 기술적 파이프라인을 다룹니다. Retrieval - Reranking - Summarization 구조를 중심으로 탐색형·정답형·정보형 태스크 차이를 설명하고, 텍스트와 이미지 정보를 요약하는 방법을 소개합니다. 구체적으로 Text Encoder·Reranker·Multi-modal Encoder의 데이터셋 구축, 모델 선택과 학습 방법론, 도메인 특화 모델 평가 사례, 그리고 ICL·Distillation 기반 요약 기법을 공유합니다. 마지막으로 서비스 적용 경험을 토대로 효율 최적화, 대형·경량 모델 조합 등 실무 전략을 제시합니다. 이 과정을 통해 얻은 통찰이 더 나은 서비스 설계와 발전 방향을 모색하는 데 기여하길 바랍니다. 목차 1. Overview - Place AI Briefing - 서비스 설명과 사례 ...
컴퓨터 비전 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김