본문으로 이동
[NDC] 〈하스스톤〉 강화학습 환경 개발기 - 0티어 덱을 만들기 위해 떠나는 모험
컨퍼런스

[NDC] 〈하스스톤〉 강화학습 환경 개발기 - 0티어 덱을 만들기 위해 떠나는 모험

NDC 넥슨 · YouTube

원문 보기

AI 핵심 요약

하스스톤 연습 모드의 컴퓨터가 비합리적인 행동을 하는 문제에서 출발해, 프로게이머 수준의 플레이와 덱 평가를 목표로 강화학습 환경을 직접 만들었다. 공식 게임 API가 없고 서비스 중인 게임에 직접 연결하기도 어려워, C++로 게임 규칙과 턴 진행, 카드·전투 처리를 재현한 시뮬레이터를 구현했다. 카드 데이터는 JSON으로 가져오고 효과는 전투의 함성·죽음의 메아리 등 유형별 태스크로 구성했으며, 게임 상태와 행동을 벡터로 변환해 PyTorch C++ API 기반 정책과 연결했다. 게임 시뮬레이터만으로는 학습이 되지 않으며, 상태 표현과 행동 인터페이스까지 마련해야 강화학습 실험을 시작할 수 있다는 점을 보여줬다.

  • 게임 API가 없다면 서비스에 직접 접속하는 대신 규칙과 상태 전이를 재현하는 시뮬레이터를 만드는 방법을 고려할 수 있다.
  • 원본 카드 데이터와 게임 중 버프·디버프가 반영된 엔티티를 분리하면 카드 정의를 안전하게 유지할 수 있다.
  • 카드 효과를 자동 생성하기 어렵다면 효과 유형을 나누고 태스크 단위로 조합해 구현하는 접근이 유용하다.
  • 강화학습 정책에는 관측 가능한 게임 상태와 가능한 행동을 일관된 벡터 형식으로 전달해야 한다.

소개

NDC 2019 [〈하스스톤〉 강화학습 환경 개발기 - 0티어 덱을 만들기 위해 떠나는 모험] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 옥찬호 2. 발표자 소개 : 현재 넥슨 코리아에서 마영전 게임 클라이언트 개발을 담당하고 있습니다. C++와 게임 개발, 컴퓨터 그래픽스, 강화학습, 오픈 소스에 관심이 많습니다. 페이스북 C++ Korea 그룹을 운영하며 스터디 활동과 함께 다양한 책을 번역/집필 중이며, 남는 시간엔 학생들과 함께 다양한 오픈 소스 프로젝트를 진행하며 보다 나은 미래를 만들기 위해 노력하고 있습니다. 옮긴 책으로는 『게임샐러드로 코드 한 줄 없이 게임 만들기』 (에이콘출판사, 2013), 『유니티 Shader와 Effect 제작』 (에이콘출판사, 2014), 『2D 게임 프로그래밍』 (에이콘출판사, 2014), 『러스트 핵심 노트』 (한빛미디어, 2017), 『모던 C++ 입문』 (길벗, 20...

비슷한 학습 자료

컨퍼런스 NDC

NDC 2018 [유체역학 엔진 개발기 - 게임에서 물리 기반의 유체를 구현하기 위한 고군분투] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 옥찬호 2. 발표자 소개 : 현재 넥슨 코리아에서 마영전 게임 클라이언트 개발을 담당하고 있습니다. C++와 게임 개발, 컴퓨터 그래픽스, 오픈 소스에 관심이 많습니다. 페이스북 C++ Korea 그룹을 운영하며 스터디 활동과 함께 다양한 책을 번역/집필 중이며, 남는 시간엔 학생들과 함께 다양한 오픈 소스 프로젝트를 진행하며 보다 나은 미래를 만들기 위해 노력하고 있습니다. 옮긴 책으로는 『게임샐러드로 코드 한 줄 없이 게임 만들기』 (에이콘출판사, 2013), 『유니티 Shader와 Effect 제작』 (에이콘출판사, 2014), 『2D 게임 프로그래밍』 (에이콘출판사, 2014), 『러스트 핵심 노트』 (한빛미디어, 2017), 『모던 C++ 입문』 (길벗, 2017)이 ...

게임 프로그래밍 게임 아트 · 그래픽

컨퍼런스 NDC

NDC 2018 [게임 프로그래머는 어떻게 가르치나요?] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 홍성우 2. 발표자 소개 : 데브캣 서버엔진팀 소속으로 '프로젝트 MV' 서버와 스튜디오 공용 서버엔진 구현에 참여하고 있습니다. '마비노기 듀얼', '카바티나 스토리', 'Buddy Rush' 개발에 참여했습니다. 3. 세션 소개 : 신입 교육을 위해 사용하는 여러 방법들의 장단점을 설명하고, 그 중 유용하고 효과적인 방법들을 제시합니다. 프로그래머 교육을 주로 다루는 발표이지만, 구성원 교육이 중요한 다른 모든 직군에서 교육 과정을 마련하는데 가이드가 되리라 생각합니다. 실무에서 도움되는 믿을 수 있는 동료 만들기, 지속적으로 좋은 성과를 낼 수 있는 조직 문화 형성, 조직의 성장과 확장에 필수적인 관리자 교육을 위한 가이드 등을 포함합니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합...

컨퍼런스 NDC

NDC 2018 [소프트웨어 2.0을 활용한 게임 어뷰징 검출] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김정주 2. 발표자 소개 : 현재 웹젠에서 TD로서 게임 로그 수집 및 분석을 담당하고 있습니다. 이전에는 NHN과 NPLUTO에서 게임 엔진 개발 및 기술 지원 역할을 하였습니다. 지난 NDC 2016에서 게임 어뷰징 검출, PyConKR 2017에서 강화학습 관련 내용을 발표한 바 있습니다. 이번 발표에서는 참관객 여러분들에게 소프트웨어 2.0의 개념과, 이를 이용해 좀 더 고도화된 게임 어뷰징 검출 방법을 소개해 드릴 예정입니다. 3. 세션 소개 : 최근 기계학습과 딥러닝의 대두는 인공지능에 대한 다양한 우려를 불러일으키고 있습니다. 그러나, 저는 개인적으로 인공지능을 데이터를 학습하여 기능을 구현하는 진보된 형태의 소프트웨어 패러다임 정도로 보고 있습니다. 딥러닝의 대가 안드레이 카패시의 소프트웨어...

딥러닝 · 머신러닝

컨퍼런스 NDC

NDC 2018 [낯선 게임인데 익숙해야 하고, 알려줄 게 많은데 재미있어야 한다고요? - '야생의 땅: 듀랑고' 초반 플레이 변천사] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 강임성 2. 발표자 소개 : 왓 스튜디오의 '야생의 땅: 듀랑고' 프로젝트에서 게임 디자인을 하고 있습니다. 이전에는 장애아동을 위한 아이패드용 인지치료 프로그램, 페이스북 소셜 게임, 그리고 모바일 도시 경영 시뮬레이션 게임 개발에 참여했습니다. NDC에서는 그동안 2014년 '48시간 만에 게임 만들기: 게임잼 '수줍은 메두사' 포스트모템과 게임 개발의 왕도', 2015년 '한 그루 한 그루 심지 않아도 돼요. 생태학에 기반한 '야생의 땅: 듀랑고'의 절차적 생성 생태계', 2016년 '차트와 그래프로 덕질하기', 2017년 '게임 디자이너 커리어 포스트모템'을 발표했습니다. 3. 세션 소개 : 게임의 도입부는 게임의 첫인상이자 플...

게임 기획

컨퍼런스 NDC

NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...

알고리즘 · 자료구조

컨퍼런스 NDC

NDC 2018 [회귀 모델 기반의 게임 재화 이상 증감 탐지 툴 개발] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 엄혜민 2. 발표자 소개 : 현재 엔씨소프트에서 데이터 분석 업무를 수행하고 있습니다. 유저들의 게임내 행동 분석을 통해 의미있는 정보를 추출하고, 잘 전달하고자 노력하고 있습니다. 3. 세션 소개 : 운영자가 쉽게 파악하기 힘든 버그로 인한 게임 재화 이상 증감 현상을 회귀 분석 기법을 이용하여 조기에 자동으로 감지하는 기술에 대해서 다루어 보려 합니다. 이상탐지 기법을 이용한 게임 품질 관리에 관심이 있으신 분들에게 조금이나마 도움이 되실 수 있을 것으로 생각합니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되...

딥러닝 · 머신러닝 프로덕트 지표 · 실험