近日，在NeurIPS會議上舉辦的MineRL 2021 Diamond Competition落下帷幕，來自網(wǎng)易互娛AI Lab的Athena AI憑借高超的挖鉆技巧，在以《我的世界》游戲?yàn)楦偧辑h(huán)境的比賽中拿下Intro賽道的冠軍以及Research賽道的亞軍。

這是AI第一次在《我的世界》中挖掘到鉆石。

該比賽由CMU, OpenAI, DeepMind, Microsoft Research等機(jī)構(gòu)聯(lián)合舉辦，是強(qiáng)化學(xué)習(xí)方向最負(fù)盛名的比賽之一。比賽自2019年起，每年在機(jī)器學(xué)習(xí)和計(jì)算神經(jīng)科學(xué)領(lǐng)域頂級學(xué)術(shù)會議NeurIPS上舉辦，今年為第三屆。

該比賽近年來吸引了包括騰訊AI Lab，華為諾亞方舟，啟元，清華，北大，中科院，香港中文大學(xué)，南洋理工大學(xué)，斯坦福大學(xué)，美國西北大學(xué)、德國比勒費(fèi)爾德大學(xué)在內(nèi)的眾多工業(yè)界和學(xué)術(shù)界的相關(guān)研究人員。

今年的比賽同樣有來自海內(nèi)外近60支隊(duì)伍、超過400名研究人員同場競技。

本屆MineRL比賽劃分為了Intro和Research兩個賽道。與Research賽道注重高效地利用玩家數(shù)據(jù)，對訓(xùn)練數(shù)據(jù)表征、訓(xùn)練規(guī)模等方面進(jìn)行了諸多的限制不同，Intro賽道更加貼近游戲AI開發(fā)中的真實(shí)場景，需要參賽者根據(jù)游戲特性設(shè)計(jì)針對性的算法，最大限度地提升AI的水平。

MineRL比賽要求參賽者在我的世界（MineCraft）游戲生存模式中，訓(xùn)練出一個能夠從零開始收集各種資源、制作工具最后挖到鉆石的智能體。

該任務(wù)的主要難點(diǎn)有：

1、巨大的動作空間和狀態(tài)空間：

我的世界是一款3D開放世界游戲，智能體僅能依賴經(jīng)過壓縮處理的游戲畫面以及背包中的部分物品數(shù)量信息來感知周圍環(huán)境，能夠執(zhí)行的動作包括移動、攻擊、視角調(diào)整、工具制作、裝備切換、物品放置等所有玩家能夠進(jìn)行的操作，動作空間巨大。

2、復(fù)雜的工具鏈：

我的世界中存在龐雜的資源系統(tǒng)和物品合成體系，即使是僅為了獲取鉆石也需要智能體學(xué)會按順序收集并制作各種所需的資源和物品。

例如為了保證在挖到鉆石前制作出鐵鎬，智能體必須學(xué)會在探索到地下深處時做好木棍、收集至少三塊鐵礦和一些燃料并在放置好的熔爐邊燒制出所需的鐵錠。

3、長期規(guī)劃能力：

在MineRL環(huán)境中智能體能夠與環(huán)境進(jìn)行至多18000次交互，這就要求智能體能夠具備長期規(guī)劃的能力。

例如智能體需要在游戲開始時就根據(jù)出生地周圍環(huán)境，決定是否在收集完附近的木質(zhì)資源后直接向地下探索礦物或是花費(fèi)時間離開出生地尋找更多的木材以避免下礦后可能出現(xiàn)沒有木頭制作工具的尷尬。

4、數(shù)據(jù)集有限且不完美：

主辦方提供了可供AI學(xué)習(xí)的約200場人類玩家數(shù)據(jù)，數(shù)據(jù)集規(guī)模十分有限且并不是所有場次中的玩家最終都獲得了鉆石

在本次比賽中，在其他隊(duì)伍更傾向于利用玩家數(shù)據(jù)集并使用層次化訓(xùn)練方法的氛圍中，網(wǎng)易互娛AI Lab，另辟蹊徑，采用端到端的純強(qiáng)化學(xué)習(xí)方案，史無前例地訓(xùn)練出了能夠從零開始獲得鉆石的Athena AI。

Athena AI通過合理地約束有效動作，達(dá)到了對狀態(tài)的搜索空間進(jìn)行剪枝的目的，使得AI在不使用分層策略的情況下依然能夠高效地在巨大的狀態(tài)空間中進(jìn)行探索和學(xué)習(xí)。

Athena AI的實(shí)現(xiàn)方案表明，即使是在多任務(wù)且任務(wù)之間有著復(fù)雜依賴關(guān)系的游戲場景內(nèi)，單一的端到端模型的表現(xiàn)也是可以達(dá)到甚至超過精細(xì)設(shè)計(jì)的分層訓(xùn)練方式。

在最終Intro賽道的結(jié)果中，來自網(wǎng)易互娛AI Lab的隊(duì)伍WinOrGoHome以645.55分奪得冠軍，在100場游戲中累計(jì)21場都成功挖到了鉆石，超越第二名的隊(duì)伍近50%的分?jǐn)?shù)。

值得一提的是，作為智能AI系統(tǒng)，網(wǎng)易互娛AI Lab研發(fā)的Athena AI目前已經(jīng)落地應(yīng)用于網(wǎng)易互娛旗下的多款游戲。

網(wǎng)易互娛AI Lab成立于2017年，AI Lab所提供的人工智能服務(wù)包括計(jì)算機(jī)視覺、自然語言處理、語音信號處理、游戲AI多個方面。

目前技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門游戲，如《夢幻西游》、《哈利波特：魔法覺醒》、《陰陽師》、《大話西游》、《荒野行動》、《明日之后》等等。