이해, 생성, 효율: 세 마리 토끼 다 잡는 Seq2Seq HyperCLOVA
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
GPT 계열 디코더 모델의 성능은 강력하지만, 큰 모델을 학습·활용하는 데 드는 자원과 태스크별 데이터 부담이 문제였다. 발표팀은 하이퍼클로바 코퍼스로 T5 1.1 기반 한국어 인코더-디코더 모델 CT5를 학습하고, BF16과 Adafactor를 적용해 학습 안정성을 확보했으며 여러 크기의 모델을 벤치마크했다. 이어 대화 데이터로 멀티플 스팬 마스킹과 커리큘럼 러닝을 적용한 Dialog CT5를 만들어 대화 태스크의 데이터 효율을 높였다. 실험에서는 CT5가 비교 모델보다 파라미터 효율적인 결과를 보였고, Dialog CT5는 적은 파인튜닝 데이터 환경에서 성능 개선을 보여 자원이 제한된 경우 인코더-디코더 구조와 도메인 어댑테이션이 유용할 수 있음을 제시했다.
- T5 계열은 입력과 출력을 모두 텍스트로 다뤄 분류·요약·대화 등 여러 NLP 태스크에 같은 구조를 적용할 수 있다.
- 대규모 학습에서 FP16의 로스 스파이크가 나타나면 BF16을 검토하고, 옵티마이저는 사전학습 로스뿐 아니라 다운스트림 성능으로 비교한다.
- 파인튜닝 자원이 부족할 때는 LoRA나 메모리 절약형 기법을 적용해 전체 파라미터를 업데이트하지 않고도 성능을 유지할 수 있다.
- 도메인 어댑테이션에서는 태스크 특성에 맞는 학습 목표와 커리큘럼을 설계하면 적은 인도메인 데이터로도 성능을 높일 수 있다.
소개
[DEVIEW 2023] * 발표자 : 유강민, 가순원, 박동주(NAVER Cloud) * 발표제목 : 이해, 생성, 효율: 세 마리 토끼 다 잡는 Seq2Seq HyperCLOVA * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
이제는 AI가 읽고(Language), 보고(Vision), 생성하는 Large-scale Multimodal의 시대입니다
컨퍼런스 DEVIEW 2023
검출과 인식 모델을 하나로? : challenge 우승 OCR 서비스 모델 새 출시!
컨퍼런스 DEVIEW 2023
HyperCLOVA 요약 서비스: Long-Form Open-Domain Dialogue Summarization
컨퍼런스 DAN 2024
[ENG][DAN 24] KEYNOTE 03: HyperCLOVA X
컨퍼런스 DAN 2024
TEAM NAVER CONFERENCE DAN 24 KEYNOTE 03 HyperCLOVA X: Expansion of Fundamental Technology Introducing how HyperCLOVA X is evolving and share the significance of developing our 'own' technology, including the objectives we are striving to achieve. - To view English subtitles, please select English in the subtitle settings. - Learn more about DAN 24: https://dan.naver.com
딥러닝 · 머신러닝
컨퍼런스 DAN 2023
[팀네이버 컨퍼런스 단 23] 오프닝 키노트: 모두의 기술 경쟁력, 네이버 AI
컨퍼런스 DAN 2023
팀네이버 컨퍼런스 단 23 에서는 네이버의 생성형 AI, HyperClova X가 최초로 공개되며 검색, 쇼핑 등 일상의 경쟁력을 높여줄 수 있는 다양한 기술 등을 소개했습니다. 세션별 다시 보기 영상을 통해 단 23의 생생한 현장과 함께 주요 내용을 살펴보세요! 🔗 네이버 기술 이야기, '채널테크'에서 자세히 보기: https://channeltech.naver.com/ 🔗 네이버 생성형 AI 라인업 보기: https://campaign.nbilly.naver.com/navergenerativeai
인공지능 기타
컨퍼런스 DAN 2023
[TEAM NAVER CONFERENCE DAN 23] NAVER's generative AI, HyperCLOVA X, was unveiled at DAN 23. Discover the game-changing technologies showcased at DAN 23, including enhanced NAVER search, innovative NAVER shopping solutions, and much more. Check out our session-by-session videos. 🔗 Learn more about DAN 23: https://campaign.naver.com/dan23_en/
인공지능 기타