![[NDC] 강화학습을 이용하여 프로게이머 수준의 〈Blade and Soul〉 비무 AI 만들기](https://i.ytimg.com/vi/iQHi-bI8JMY/maxresdefault.jpg)
[NDC] 강화학습을 이용하여 프로게이머 수준의 〈Blade and Soul〉 비무 AI 만들기
NDC 넥슨 · YouTube
AI 핵심 요약
블레이드앤소울 비무는 다양한 스킬과 상태 이상, 실시간 대응이 필요한 복잡한 게임이라 규칙 기반 AI만으로 프로 수준에 도달하기 어려웠다. 엔씨소프트 Game AI Lab은 신경망 정책을 사용하는 강화학습 알고리즘 PPO와 병렬 전투 시뮬레이션을 적용하고, 이동·스킬 선택지를 줄이는 한편 과거 모델을 상대 풀에 넣는 셀프 플레이로 에이전트를 학습시켰다. 보상 함수의 가중치를 바꿔 공격형·수비형·밸런스형 스타일도 만들었으며, 2018년 블레이드앤소울 토너먼트 월드 챔피언십 블라인드 매치에서 세 에이전트가 프로 선수들과 합계 3승 4패를 기록했다. 복잡한 상용 게임에서도 도메인 지식으로 행동 공간을 정리하고 다양한 상대와 학습시키면 강한 에이전트와 서로 다른 전투 스타일을 함께 구현할 수 있다는 점을 확인했다.
- 행동 공간이 지나치게 크면 학습이 어려워지므로, 이동 결정을 일정 시간 유지하고 사거리 밖에서 쓸 수 없는 스킬을 제외해 선택지를 줄인다.
- 연속적인 거리 정보는 스킬 사거리의 임계값으로 구간화하면 에이전트가 전투 상황을 더 쉽게 학습할 수 있다.
- 셀프 플레이에서는 과거 모델을 상대 풀에 보존하고 무작위로 대전시켜, 특정 상대의 약점만 공략하는 정책에 치우치지 않도록 한다.
- 전투 스타일을 규칙으로 강제하기보다 보상 함수의 가중치를 조정하면 성능을 유지하면서 공격성이나 수비 성향을 유도할 수 있다.
소개
NDC 2019 [강화학습을 이용하여 프로게이머 수준의 〈Blade and Soul〉 비무 AI 만들기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 문상빈 2. 발표자 소개 : 엔씨소프트 Game AI Lab 강화학습팀에서 게임 속 지능형 에이전트를 만드는 연구를 하고 있으며, 최근에는 블레이드앤소울 비무 AI를 개발했습니다. 컴퓨터 비전 분야 석사 학위 취득 후 다년간 AI 관련 개발을 하고 있습니다. 3. 세션 소개 : 저희 Game AI Lab에서는 〈블레이드앤소울〉 비무 AI를 개발하여 블레이드앤소울 토너먼트 2018 월드 챔피언십 무대에서 세계 최정상의 프로게이머들과 블라인드 매치를 펼쳤습니다. 세 가지의 서로 다른 특성을 가진 에이전트가 세 명의 선수들과 겨루어 합계 3승 4패의 치열한 접전을 펼쳤습니다. 이 세션에서 그동안의 개발 경험과 프로 수준의 인공지능을 만든 노하우를 공유하려 합니다. 청중께서...
비슷한 학습 자료
컨퍼런스 NDC
NDC 2019 [Game Data analysis with Deep Learning] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김승원 2. 발표자 소개 : 대학원에서 AI를 수학했고, 13년간 소프트웨어 엔지니어로 일했고, 그중 AI 관련 프로젝트는 5년간 진행했습니다. 현재는 게임 데이터 분석 및 게임 영상 분석에 AI를 적용하고 있습니다. 3. 세션 소개 : Game data (Tera)를 Deep Learning으로 분석했을 때 얻게 되는 장점 및 실제 구현 사례를 살펴 봅니다. 기존의 Machine Learning 방법들보다 AI (Deep Learning) 방법의 장 단점을 살펴보고 어떻게 Deep learning을 적용할지 insight를 얻을 수 있을 것입니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해...
딥러닝 · 머신러닝
컨퍼런스 NDC
NDC 2019 [ AI로 고퀄리티 모션 만들기 - 지형 적응형 실시간 IK 모션 생성 기술] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 유문원 2. 발표자 소개 : NCSOFT의 Game AI Lab 소속인 Motion AI팀에서 연구 중이며, AI 기술을 활용한 모션 생성 기술에 대해 연구하고 있습니다. 최근에는 motion style transfer, terrain-adaptive motion synthesis 연구를 진행하고 있습니다. 3. 세션 소개 : 최근 게임 시장에서 애니메이션 품질에 대한 기대가 높아지면서 모션 생성 기술에 대한 연구가 활발히 진행되고 있습니다. 이 세션에서는 NCSOFT Motion AI팀에서 연구 중인 지형 적응형 실시간 모션 생성 기술에 대해 소개합니다. Machine learning 기반의 이 기술은 다양한 지형 환경에 맞추어 새로운 모션을 생성할 수 있으며 실시간 동작...
딥러닝 · 머신러닝 게임 프로그래밍
컨퍼런스 NDC
NDC 2019 [어머님, A/B 테스트를 댁으로 들이십시오 - 〈DevPlay〉 A/B 테스트 플랫폼 개발기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김민수, 오우택 2. 발표자 소개 : [김민수] 데브시스터즈에서 데이터 엔지니어로 일하고 있습니다. 매일 게임에서 발생하는 수 테라바이트의 데이터를 효율적으로 가공 및 적재하는 인프라를 설계하고 있습니다. 또한, 대규모 분석 프레임워크, 실시간 스트리밍 등의 데이터 어플리케이션을 개발하고 있습니다. 유저가 만들어내는 수많은 데이터에서 새로운 가치를 발견하여 더 큰 즐거움을 주는 게임을 만들고자 합니다. [오우택] 데브시스터즈에서 데이터 과학자로 첫 커리어를 쌓아 나가고 있습니다. KPI 스키마 디자인에서부터 분석 후 대쉬보드 형태로 엔드유저에게 전달되기까지, 데이터가 전사적으로 잘 쓰일 수 있도록 일을 진행했습니다. 서비스 중인 게임의 상품 분석, 어뷰저 탐...
데이터베이스 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [개발 자동화와 그 적들 - '블레이드 2' 및 다른 사례들 소개] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 최우성 2. 발표자 소개 : 16 년차 개발자. 프로그래머와 프로젝트 관리자와 AI 관련 업무를 오가며 게임 업계에 서식하고 있다. 현재는 블레이드2 에서 서버 프로그래밍 및 개발 생산성 향상을 위한 작업들을 하고 있다. 그 이전에는 블레이드 앤 소울, 로스트 사가, 다함께 차차차2, 불멸의 전사 등을 PM이나 프로그래머로서 개발 했다. 그리고 소개한 프로젝트 보다 더 많은 수의 빛을 보지 못한 프로젝트들에도 참여 했었다. 3. 세션 소개 : 개발환경이 발전하고 프로젝트들의 사이클이 짧아지면서, 개인 및 팀의 생산성은 또다른 키워드가 되고 있습니다. 특히 모바일 시대에 도래하면서 이런 현상은 더욱 가속화되어가고 있는 상황입니다. 블레이드 2 (서버)를 개발하면서 신경 썼던 부분 중 하...
데브옵스 · 인프라 개발 도구
컨퍼런스 NDC
NDC 2018 ['프로젝트DH' AI 내비게이션 시스템 - 자연스러운 용의 비행을 위한 공중 내비게이션 시스템 개발기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 심예람 2. 발표자 소개 : 데브캣스튜디오 프로젝트DH팀에서 엔진 및 컨텐츠 개발을 담당하고있으며, 주로 몬스터의 이동제어와 전투 시스템 개발 업무를 수행해왔습니다. 이 전에는 컴퓨터 그래픽스 연구실에서 석사과정으로 절차적 노이즈 텍스처링 및 지형 렌더링을 연구하였고, 전문연구요원으로서 넥슨에 입사하여 언리얼 엔진 4 기반의 프로젝트에 참여해왔습니다. 이번 발표를 통해 취미 게임 개발자가 덕업일치에 성공해 실제 게임에 들어갈 기능을 구현해가며 겪은 경험들을 공유하고자 합니다. 3. 세션 소개 : 게임 개발자에게 AI 내비게이션은 꽤 고전적인 문제입니다. 그럼에도 불구하고, 프로젝트DH의 용이라는 생명체를 자연스럽게 비행시키기 위한 적절한 공중 AI ...
게임 프로그래밍