【#區(qū)塊鏈# #「喚醒」NPC，這家融資過億的國內創(chuàng)企在做一種很新的游戲#】

來源：機器之心

圖片來源：由無界 AI生成

每次進入游戲，NPC 都說著不一樣的臺詞，這將是一個怎樣的世界？

在眾多游戲類型中，開放世界游戲是非常受歡迎的一種，因為它允許玩家在一個引人入勝的虛擬世界中漫游，自由地去體驗豐富的故事情節(jié)，同時完成一些復雜的支線、主線任務。這極大地滿足了人的好奇心和探索欲?！痘囊按箸S客》、《GTA5》、《塞爾達傳說》等大家耳熟能詳的游戲都屬于開放世界游戲。

在這類游戲中，非玩家角色（NPC）在推動劇情進展、提供任務與服務以及增強游戲的沉浸感和真實性方面發(fā)揮著至關重要的作用。不過，這些 NPC 的臺詞和行為模式往往是預先編寫和固定的，所以在玩家與一個 NPC 多次交互時，可能會聽到重復的臺詞，或者感覺 NPC 的反應非常機械，缺乏深度。因此，如何讓 NPC 具備「隨機應變」的能力一直是困擾游戲制作者的一大難題。

科幻美劇《西部世界》中的 NPC。

最近，很多研究者都在嘗試將大型語言模型與游戲智能體結合起來，構建通用語言智能體，從而讓 NPC 更加富于變化。然而，這些通用語言智能體在實際的開放世界環(huán)境中面臨著巨大的挑戰(zhàn)，包括但不限于解釋復雜環(huán)境、記憶長期事件、生成與角色和環(huán)境設置相一致的表達方式，以及從與環(huán)境的交互中不斷學習等。

為了解決這一問題，國內創(chuàng)業(yè)公司 MiAO 提出了一種名為 LARP（Language Agent for Role Play）的開放世界游戲角色扮演智能體框架。LARP 的重點是將開放世界游戲與語言智能體相融合，利用模塊化方法進行記憶處理、決策以及從互動中不斷學習。

• 論文地址：https://arxiv.org/pdf/2312.17653.pdf
• 項目地址：https://miao-ai-lab.github.io/LARP/

在智能體內部，他們設計了一個基于認知心理學的復雜認知架構，使 LARP 框架下的智能體具有較高的可玩性和獨特性。為了獲得更逼真的角色扮演體驗，他們利用開放世界游戲環(huán)境的數據和上下文、事先設定的個性、知識、規(guī)則、記憶和后置約束對智能體進行了規(guī)范化，這可以看作是通用語言智能體中的一個特殊案例。對于通用智能體架構，它通常需要一個大規(guī)模的語言模型。然而，MiAO 的架構包含了一組較小的語言模型，每個模型都針對不同的領域進行了微調，以分別處理各種任務。這種設計為開發(fā)開放世界角色扮演游戲的語言智能體提供了新的經驗和視角。

LARP 架構可以分為三部分：認知架構模塊，包括長期記憶處理和可擴展的決策助手；環(huán)境交互模塊，根據環(huán)境反饋學習和修改行動模式；以及后處理方法，將語言模型與各種性格對齊。其中，認知架構模塊最為關鍵，它為長期記憶引入了向量語義和符號語言存儲，通過自我提問構建了基于問題的記憶回憶方法，并進一步擴展了更詳細的過程，如回憶記憶的重建和遺忘。

公開資料顯示，MiAO 是一家游戲和社交平臺，由前巨人 CEO 吳萌創(chuàng)立。這家公司的愿景是搭建一個多元化游戲 + 社交平臺，推出一款主打多人玩法的開放世界體素游戲產品，提供以多人玩法為主的第一方內容，為玩家提供沉浸式游戲體驗及服務。當擁有足夠體量的用戶基礎之后，再逐步建立起玩家與創(chuàng)作者共生的平臺生態(tài)。2023 年 3 月，這家公司獲得了紅杉中國、高榕資本、Monolith 礪思資本的億級天使輪投資。

以下是論文的詳細內容。

認知架構

認知架構在開放世界游戲中充當著角色扮演語言智能體（role-playing language agent）的基本組件。該架構為智能體提供了一個邏輯框架并使智能體產生自我認知。認知架構如圖 2 所示。

它包括四個主要模塊：長期記憶、工作記憶、記憶處理和決策。其中長期記憶模塊是主要的信息倉庫，存儲著大量的記憶；工作記憶充當臨時緩存，主要應用于內存空間有限的場景；記憶處理模塊是認知架構中最重要的單元；決策模塊根據檢索到的信息給出智能體的后續(xù)動作。

長期記憶模塊

在認知科學中，長期記憶（LTM）包含兩種類型的記憶：陳述性記憶和程序性記憶。

其中，陳述性記憶進一步又分為語義記憶和情景（episodic）記憶。

在開放世界游戲的背景下，語義記憶可以被視為包含游戲規(guī)則和與相關世界觀一致記憶的部分。本文將語義記憶分為兩部分，其中一部分通過外部數據庫實現，另一部分以符號語言的形式存儲在長期記憶模塊中。

情景記憶是指個體經歷的特定事件的記憶，這些記憶可以是與其他玩家或智能體相關的記憶。本文在長期記憶模塊中采用了向量數據庫來存儲和檢索這些記憶。由于記憶可能會被遺忘，因此本文還引入了相關的衰減參數，其相關性隨著時間的推移而降低。

程序性記憶是指無需有意識思考即可執(zhí)行的動作或技能，例如游泳、騎自行車等。這些具有動作屬性的技能被表示為動作空間中的 API。

在長期記憶模塊中，本文將所有的感知記憶分別存儲在語義記憶區(qū)域和情景記憶區(qū)域中。本文提出了一種名為「基于問題的查詢」的方法，該方法有利于回憶模塊中語義記憶和情景記憶的檢索，從而提高記憶利用的整體效率。

工作記憶模塊

工作記憶主要保存在執(zhí)行復雜認知任務（例如推理和學習）和交互任務時所需的觀察信息和檢索長期記憶。這些信息通常是通過智能體的觀察以自然語言數據的形式由游戲方提供的。工作記憶作為一個數據緩存，系統(tǒng)可以從中提取信息并將信息放入提示的上下文中。

記憶處理

記憶處理模塊主要負責對已存儲和即將存儲的記憶進行處理。

在 LARP 中，本文通過處理游戲中提供的所有結構化觀察信息，將其與檢索到的內容相結合，并將其存儲在工作記憶中來模擬此過程。這些信息將作為決策模塊中的輸入，不斷更新工作記憶中的內容。一旦工作記憶的長度達到一定閾值，就會觸發(fā)反射，過濾掉無效記憶，將處理后的自然語言記憶和符號語言記憶分別存儲為情景記憶和語義記憶。

決策過程

決策模塊在觀察和工作記憶的共同作用下產生最終決策。決策模塊的核心部分是可編程單元的有序簇。每個單元都會處理工作記憶和上下文中的內容，并將結果實時更新到工作記憶中。?

這些單元具有無限的可擴展性，可以處理不同類型的記憶處理任務。這些單元的執(zhí)行順序將由語言模型助手決定，決策模塊的最終輸出可以是 NPC 的任務或對話內容。

與環(huán)境的交互

圖 4 為交互過程，如圖所示「Interior（內部）」模塊是指由觀察和認知架構生成的工作記憶和根據當前情況需要執(zhí)行的任務。動作空間（Action Space）是智能體在游戲世界中可執(zhí)行動作的 API，包括公共 API 和個人 API。

當決策模塊生成了規(guī)劃后，該研究做的第一步是嘗試將總體任務目標分解為多個子任務目標。對于每一個任務目標或者子任務目標，整個系統(tǒng)都會將其與工作記憶進行整合。然后，使用檢索器分別在個人 API 庫和公共 API 庫中進行搜索。如果個人 API 庫中已經存在該任務對應的動作，則立即執(zhí)行該動作。否則，系統(tǒng)用整個動作空間和內部（Interior）內容完成相應的提示，以使用微調的 LLM 生成結構化代碼。生成的代碼塊成功執(zhí)行并進行驗證后，以（Task，API）的形式作為新接口存儲在個人 API 庫中，以供將來使用。如果驗證失敗，則激活反射單元以生成新的代碼塊。

總結

最后，我們進行一個簡單的總結。該研究表示開放世界游戲給語言智能體帶來了新的挑戰(zhàn)，如完成復雜的任務、連貫的故事情節(jié)和多樣化的 NPC 行為。

為了解決上述問題，本文提出了 LARP，一個專為開放世界游戲量身定制的角色扮演語言智能體框架。LARP 由長期記憶、工作記憶、記憶處理和決策模塊組成。在與環(huán)境的交互過程中，LARP 具有一個可學習的動作空間，該空間包含公共 API 和個人 API，可以通過強化學習進行擴展。為了實現角色多樣化的個性，LARP 使用了針對不同視角和方言的微調模型。