專利名稱：非玩家控制角色的智能控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能學(xué)習(xí)技術(shù)，特別是涉及大型多人在線游戲(MMOG)中非玩家控制 角色(NPC)的智能控制方法。
背景技術(shù)：
隨著網(wǎng)絡(luò)游戲的智能化發(fā)展，大部分網(wǎng)絡(luò)游戲都引用了人工智能技術(shù)。作為游戲 的核心，人工智能能提供更多、更為真實(shí)的游戲挑戰(zhàn)，激發(fā)玩家的興趣。另外，人工智能在游 戲可玩性方面往往也起著決定性因素，把人工智能應(yīng)用于游戲中，會使玩家感覺到游戲中 的人物行為具有令人信服的合理性，從而吸引玩家，并有效促進(jìn)游戲開發(fā)的成功。目前，提出了一種啟發(fā)式加速評估Q學(xué)習(xí)方法(簡稱HAE-QL方法)，采用該方法可 以對游戲中非玩家控制角色所執(zhí)行的動作進(jìn)行智能決策。在該方法中，引入了啟發(fā)式和評 估來加速標(biāo)準(zhǔn)Q學(xué)習(xí)方法。這里，通過使用一個啟發(fā)函數(shù)在學(xué)習(xí)過程中影響行動的選擇，使 用一個評估函數(shù)來評估所選擇的動作，以減少不必要的探索，提高學(xué)習(xí)效率。為了保證該方 法的有效性，啟發(fā)函數(shù)和評估函數(shù)是根據(jù)Q函數(shù)來計算的。具體的實(shí)現(xiàn)流程如下步驟1、NPC根據(jù)其協(xié)作NPC當(dāng)前發(fā)送的狀態(tài)信息，更新自身保存的歷史經(jīng)驗(yàn)信息。這里，所述狀態(tài)信息包括協(xié)作NPC在其上一狀態(tài)下所執(zhí)行的動作的Q (st，at)、啟發(fā) 函數(shù)Ht(st，at)以及評估函數(shù)Et(st，at)。所述歷史經(jīng)驗(yàn)信息對所有NPC而言，是相同的，即對各NPC而言是共享的，各NPC 將根據(jù)該信息決策自身當(dāng)前所需要執(zhí)行的動作，當(dāng)NPC執(zhí)行完一個動作時便需要通過發(fā)送 狀態(tài)信息包通知其協(xié)作NPC更新各自的歷史經(jīng)驗(yàn)信息，以確保該信息在各NPC中的一致性， 從而實(shí)現(xiàn)各NPC的協(xié)作行動。步驟2、所述NPC從周圍環(huán)境中獲知自身的當(dāng)前狀態(tài)。步驟3、按照公式(1)來選擇當(dāng)前狀態(tài)下的動作π (st)。
權(quán)利要求
1.非玩家控制角色(NPC)的智能控制方法，其特征在于，該方法包括以下步驟a、當(dāng)NPC收到網(wǎng)絡(luò)包時，確定所述網(wǎng)絡(luò)包的類型；如果所述網(wǎng)絡(luò)包為更新信息的網(wǎng)絡(luò) 包，則根據(jù)所述網(wǎng)絡(luò)包更新自身保存的協(xié)作NPC位置信息；如果所述網(wǎng)絡(luò)包為協(xié)作NPC退出 消息，則刪除自身保存的所述協(xié)作NPC對應(yīng)的信息；b、所述NPC利用基于卡爾曼濾波的航位推算(DeadReckoning,DR)方法，根據(jù)所述NPC 及其協(xié)作NPC的上一時刻的狀態(tài)信息，預(yù)測所述NPC及其協(xié)作NPC的下一時刻的狀態(tài)信息， 所述狀態(tài)信息包括NPC的位置、速度和角度信息；C、所述NPC根據(jù)所述上一時刻的狀態(tài)信息和所述預(yù)測到的下一時刻的狀態(tài)信息，利用 啟發(fā)式加速評估Q學(xué)習(xí)方法，預(yù)測所述NPC和其協(xié)作NPC當(dāng)前選擇的動作；d、所述NPC判斷是否存在至少一個協(xié)作NPC的所述預(yù)測動作滿足第一條件，所述第一 條件為所述預(yù)測動作被執(zhí)行后所得到的回報值與相應(yīng)狀態(tài)下能夠得到的最大回報值的差 大于預(yù)設(shè)的閾值 ；，如果存在，則將滿足所述第一條件的預(yù)測動作所對應(yīng)的協(xié)作NPC的所述 下一時刻的狀態(tài)信息，通過更新信息廣播給所述NPC的協(xié)作NPC ；e、所述NPC判斷是否存在至少一個協(xié)作NPC的所述下一時刻的狀態(tài)信息滿足第二條 件，所述第二條件為該狀態(tài)信息中的位置、速度或角度信息和上一時刻對應(yīng)值的差大于預(yù) 設(shè)的對應(yīng)閾值，如果存在，則將滿足所述第二條件的狀態(tài)信息所對應(yīng)的協(xié)作NPC的所述下 一時刻的狀態(tài)信息，通過更新信息廣播給所述NPC的協(xié)作NPC ；f、所述NPC根據(jù)所述下一時刻的狀態(tài)信息，重新繪制所述NPC及其協(xié)作NPC。
全文摘要
本發(fā)明提供了一種非玩家控制角色(NPC)的智能控制方法，NPC在收到網(wǎng)絡(luò)包后，利用基于卡爾曼濾波的航位推算方法對所有NPC下一時刻的位置、速度、角度進(jìn)行預(yù)測，根據(jù)該預(yù)測結(jié)果以及各NPC上一次的位置、速度、角度，預(yù)測各NPC所選擇的行動，并且只有在預(yù)測的信息不夠準(zhǔn)確時，才向協(xié)作NPC廣播更新信息，使各協(xié)作NPC進(jìn)行狀態(tài)信息的更新。如此，通過減少更新信息的廣播次數(shù)，可以降低MMOG運(yùn)行時對服務(wù)器的壓力，同時還可以減少M(fèi)MOG通信中的傳輸延遲及信息包丟失對NPC協(xié)作效果的影響。
文檔編號H04L29/06GK102136025SQ201010624448
公開日2011年7月27日 申請日期2010年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者劉毅, 王洪彥 申請人:北京像素軟件科技股份有限公司