AI 경량화: 더 빠르고 저렴한 AI 서비스 - 백동원_NE DAY 23. 10
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
거대 모델을 서비스에 적용할 때 추론 지연과 서버 부하, 전력 소모가 문제가 되지만, 아키텍처를 크게 바꾸는 최적화에는 많은 리소스가 든다. 발표자는 LaRva 기반 모델에 양자화, 프루닝, 로랭크, 지식 증류를 적용하며 겪은 시행착오를 공유했고, 양자화로 추론 속도를 높인 사례와 프루닝에서 희소 연산 지원이 중요하다는 점을 설명했다. 경량화는 비용과 전력 소모를 줄이고 서비스 확장성을 높일 수 있지만, 모델과 데이터에 따라 효과가 달라지며 정확도 저하나 추가 실험 비용을 감수해야 한다. 따라서 기법을 일괄 적용하기보다 실제 서빙 환경에서 성능과 속도 변화를 검증하고, 결과를 설명할 수 있는 방식으로 선택해야 한다.
- PyTorch의 동적 양자화는 적용이 간단하지만, 지원되지 않는 레이어와 TorchScript 변환 순서를 먼저 확인해야 한다.
- 프루닝은 가중치를 0으로 만드는 것만으로는 속도가 빨라지지 않으며, 희소 연산을 지원하는 라이브러리와 커널이 필요하다.
- Lottery Ticket Hypothesis 방식처럼 중요한 가중치를 보존하고 재학습하면 정확도 손실을 줄이거나 개선할 수 있다.
- 지식 증류는 교사·학생 모델의 구조와 데이터 도메인에 따라 효과가 달라지므로, 완성된 모델의 셀프 디스틸레이션부터 검토할 만하다.
- 경량화 기법은 모델과 데이터셋에 따라 결과가 달라질 수 있어, 속도·정확도·전력 소모를 함께 측정하는 실험이 필요하다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] * AI 경량화 삽질기 (feat. LaRva) - Quantization과 삽질기 - Pruning과 삽질기 - Low-Rank와 삽질기 - Knowledge Distillation과 삽질기 * AI 경량화 Benefits & Risks - 전력 소모 단위에서의 AI 경량화 - 각종 논문에서의 AI 경량화 안정성 반증 - AI 경량화에서 얻을 수 있는 Benefits - AI 경량화를 할 때 대비해야 하는 Risks
비슷한 학습 자료
컨퍼런스 당근 밋업
AI 도입에서 극적인 비용절감, 효율화 달성하기
컨퍼런스 if kakao
Preview AI_1 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. TensorFlow Serving보다 10배 빠르게 서빙하기 @jesse.ha 텐서플로우로 만든 딥러닝 모델을 서비스에서 사용하기 위해 인퍼런스 서버를 구축하는 과정에서 코드 레벨/도메인 레벨/Layer Fusion/구현 레벨 등 다양한 관점에서의 최적화를 통해 TensorFlow Serving보다 10배 빠르게 만든 과정을 공유합니다. 2. ML로 기프트권 받을 유저 정하기 @yul.kk ML을 사용하여 픽코마 무료 에피소드 열람 기프트권 발송을 효율적으로 해결한 방법에 대해 설명합니다. Feature 생성 및 선정과 실서비스 적용 시 주의했던 점들을 공유합니다. 3. BERT보다 10배 빠른 BERT 모델 구축 @marko.k BERT는 NLP 분야에서 SOTA 모델이지만 학습하는데 많은 시간과 컴퓨팅 리소스가 필요합니다. 기존 BERT 대비 10배 더 빠르게 학습시키고 성능도 더 좋...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지 이번 세션은 네이버 플레이스 AI Briefing 생성의 기술적 파이프라인을 다룹니다. Retrieval - Reranking - Summarization 구조를 중심으로 탐색형·정답형·정보형 태스크 차이를 설명하고, 텍스트와 이미지 정보를 요약하는 방법을 소개합니다. 구체적으로 Text Encoder·Reranker·Multi-modal Encoder의 데이터셋 구축, 모델 선택과 학습 방법론, 도메인 특화 모델 평가 사례, 그리고 ICL·Distillation 기반 요약 기법을 공유합니다. 마지막으로 서비스 적용 경험을 토대로 효율 최적화, 대형·경량 모델 조합 등 실무 전략을 제시합니다. 이 과정을 통해 얻은 통찰이 더 나은 서비스 설계와 발전 방향을 모색하는 데 기여하길 바랍니다. 목차 1. Overview - Place AI Briefing - 서비스 설명과 사례 ...
컴퓨터 비전 자연어 처리
컨퍼런스 DAN 2023
[팀네이버 컨퍼런스 단 23] AI를 물리 세계로 연결하는 파운데이션 모델
컨퍼런스 DAN 2023
팀네이버 컨퍼런스 단 23 에서는 네이버의 생성형 AI, HyperClova X가 최초로 공개되며 검색, 쇼핑 등 일상의 경쟁력을 높여줄 수 있는 다양한 기술 등을 소개했습니다. 세션별 다시 보기 영상을 통해 단 23의 생생한 현장과 함께 주요 내용을 살펴보세요! 🔗 네이버 기술 이야기, '채널테크'에서 자세히 보기: https://channeltech.naver.com/ 🔗 네이버 생성형 AI 라인업 보기: https://campaign.nbilly.naver.com/navergenerativeai
VR/AR 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
사용자의 목소리를 AI로 재현하다: LLM기반 Multi Agent UX플랫폼 개발기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. 해당 발표는 팀네이버 컨퍼런스 DAN25 홈페이지(https://dan.naver.com/25/sessions/699)에서도 살펴보실 수 있습니다. [발표 내용] “사용자에 진심인 3명이 모여, Persona가 말하게 만들다” 이 세션은 잘 만든 AI 시스템을. 넘어, 디자이너·AI 리서처·개발자가 경험한 AI 시대의 협업 가능성을 제안합니다. 사용자 페르소나봇 NSona의 기획부터 구현, 평가까지 전 과정을 공유합니다. AI로 사용자 리서치 데이터를 실시간 협업 자원으로 전환하며, Multi-Party 대화 시스템에서 사용자와 함께 일하는 방식을 실험했습니다. 세 명은 함께 AI를 만들며 역할과 협업 구조가 바뀌는 경험을 했습니다. 디자이너는 프롬프트를 설계하고, 리서처는 로직을 에이전트 구조로 바꾸었으며, 프론트 개발자는 AI를 비평 대상으로 다뤘습니다. 중요한 건...
AI에이전트 개발 UI/UX
컨퍼런스 엔지니어링데이 2025
AI와 함께하는 프로젝트 자동화 : 더 빠르고, 더 스마트하게
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 로컬 환경에서 Ollama LLM과 mcp-agent를 연결해 빌드 실패 분석, 크래시 로그 요약, Slack 자동 리포트까지 구현했습니다. AI가 단순한 도구가 아닌, 프로젝트의 자동화 동료가 되는 과정을 공유합니다. [발표 대상] 로컬 LLM(Ollama)과 오픈소스 mcp-agent 를 활용한 AI 자동화 시스템 구축에 관심 있는 개발자 [목차] * AI와 자동화를 연결하기 * LLM을 활용한 빌드 실패 알림 자동화 * LLM을 활용한 크래시 모니터링 자동화 * Slack with LLM * LLM & MCP 면 만능일까?
데브옵스 · 인프라 AI에이전트 개발