斯坦福&谷歌研发“生成式智能体” 让游戏NPC“活了”

　　撰文 | 李   熙

　　编辑 | 杨博丞

　　电子游戏业经历了三十多年的牛市，游戏中的NPC在画面视效上有了飞跃，然而互动智能上并没有给玩家相似的体验提升。

　　玩家们在1995年的国产角色扮演游戏里，见过渔夫NPC只会重复一句“今天是钓鱼的好天气”;在2017年的育碧开放沙盒游戏里，听过玻利维亚乡民NPC反复只说单调的西语粗口。

　　其他领域的人工智能已经改头换面，但用在游戏NPC上的人工智能长久以来还像复读机。“身边枪林弹雨，NPC八风不动”的哏，已经让瑞恩·雷诺兹老师拍成热卖电影了。

　　在大语言模型风靡的当下，以之改造游戏NPC成为可能。然而2023年4月7日，斯坦福大学和谷歌的研究者在预印本平台上发布的论文，成就远过于业界期待：NPC岂止更聪明，简直算是“活过来了”。

　　一、开游戏业与AI界40年未有之先河

　　生成式AI和大语言模型兴起前，用AI改善游戏NPC的努力，一般是在更易实现的强化学习方向，其中最出名的是2019年在DOTA2里击败人类世界冠军的OpenAI 公司制作的5个AI。

　　这种思路的概括，是用有清晰争胜目标的对抗性环境来作为奖惩机制来训练NPC，最终完成的AI架构能让NPC自我修正行为以取得胜利目标。

　　不过游戏业的产品生态不止于此。不少游戏产品以夺旗、清空敌手等可以明确定义的对抗性胜利目标为基础，但很多游戏没有这种对抗性，游戏机制是模拟下厨、卖杂货、拖拉机耕地、校园恋爱等随机度更高的活动。更多游戏的机制是开放性沙盒，没有明确定义的取胜路径与规则。

　　这些游戏的NPC功能如何从AI技术革命中获益，很长时间内业内大公司暂时还没明确答案。

　　然而2023年4月中旬谷歌与斯坦福大学研究者的论文《生成式行为体：人际行为的交互式互动》，给出了通往答案的路径：用大语言模型，让沙盒模拟游戏里的NPC“获得生命”。

　　研究者称，过去四十年来，学界尝试过创造行为可信的NPC的各种途径，但在实际应用中，这些途径基于简单环境或智能体行为的单调维度，否则无法运行。而此研究的成功，突破了上述局限。

　　二、原理：ChatGPT让NPC“思考”，本地数据库让NPC“记忆”

　　简单来说，研究者通过普通编程，为一个《模拟人生》类型游戏的虚拟小镇中的NPC们写好了虚拟环境设定、智能体人物设定、记忆库架构、拟定计划等各方面程序代码。然后在NPC与虚拟环境间、多名NPC之间的每次接触时，将以上各方面基础数据、互动环境等以自然语言描述后，通过应用程序接口输入给ChatGPT，再将ChatGPT的答案作为NPC下一步行为的指令。

　　具体而言，研究中的“生成式行为体”NPC，其决策路径如下图所示：感知-录入记忆流-检索记忆库-反思/计划-行为

　　“生成式行为体” 决策路径简图

　　“感知”是NPC行为体对互动、虚拟环境等的信息输入，录入“记忆流”后，与记忆数据库对比。

　　然后“检索”是从数据库中提取相关的记忆事项，NPC行为体会用自然语言将事项输入给ChatGPT，由大语言模型来决策事项的优先级，优先级由事项的晚近程度、ChatGPT判断的重要度与相关性为判断基准。给出的答案作为NPC思维流程的下一步输入词。

　　接着，数据库与大语言模型会开始NPC的“反思”过程，数据库将行为体最近100条记忆事项以自然语言输入ChatGPT，让大模型来推断出由此可知最重要/相关的观点。

　　“检索”获取的答案、“反思”得出的观点、结合NPC本身的人设数据，都以自然语言自动再次输入ChatGPT，用大模型得出最符合人类行为逻辑的行动指令。

　　试运行截图

　　如此设计的用意，是因为大语言模型在训练期间已经被写入了广泛的人类行为资料，在给出背景涵义足够精准的提示词时，ChatGPT等大模型可以生成高拟真度的人类行为预测答案。

　　然而在这个迅速惊艳世界的功能后，大语言模型存在小瑕疵：它不能记住每个用户的个性化录入内容，所有用户与模型间的对话都不能直接修改模型的参数，任何显得ChatGPT有记忆的表现都是算法在复读最时新的用户录入内容缓存。

　　所以谷歌与斯坦福的研究者，结合存储在云服务器上的数据库与ChatGPT，来制作出能完成前述“思维步骤”的NPC，让它们可以实时模拟人类的自主决策。固定数据库与软件架构是NPC佐助连续性思考的“记忆”，而大语言模型是NPC用来即时性思考的“灵魂”。

　　三、效果：NPC能自行谈恋爱和选镇长了

　　在研究者的试运行中，NPC智能体可以做到没有人工干预微操、只给简单指令，就能自行完成复杂事件。当研究者让名叫伊莎贝拉的NPC筹划情人节聚会时，她自行在虚拟小镇中开始逐个邀请自己的朋友和熟人，并自行装饰作为聚会场所的咖啡馆。

　　智能体与虚拟环境间的互动可以完全自发且自洽。在环境状况设置为“食物引燃”的状况下，“伊莎贝拉”能自主做出“关闭燃气灶”的决策。如果这用普通编程也可以做到的话，智能体接下来的“重做早饭”行为，就是较前有显著突破的AI自发决策。

　　智能体之间的互动，已经达到可以模拟实际人际关系中的“信息扩散”与“协作”行为。

　　例如“伊莎贝拉”宣布要开情人节聚会后，她邀请到的AI智能体们又进一步邀请其他与伊莎贝拉无直接接触的AI，例如名叫玛丽娅的AI就邀请自己的“暗恋对象”克劳斯一同赴会。

　　情人节聚会消息在NPC中扩散的过程

　　再如名叫“山姆”的AI宣布要竞选虚拟小镇镇长后，AI“伊莎贝拉”与“汤姆”对此有自发的议论：“伊莎贝拉”询问“汤姆”的意见，“汤姆”答出自己的观点：“老实说我不看好山姆，他与本社区已经脱节，也并不真把我们的攸关利益放在心上“。

　　在研究者的两日试运行中，虚拟小镇的25个NPC里，得知“山姆”参选镇长的从单个扩散到8个、得知“伊莎贝拉”办聚会的从单个扩散的12个，过程中完全无人工干预。并且NPC们在互动内容的置信度上部分超过了真人玩家。

　　论文里各种状态下NPC与人类的行为置信度对比量表

　　当然，论文出圈后的“《西部世界》实现“热议并不准确。仔细的观察者们大都发现，不管所用的ChatGPT还是自制的NPC程序，并没有真正的自主人类意识，只是将大模型的相关性引擎性能潜力进一步发掘。

　　由于大语言模型的现有局限，研究中的NPC也经常有无厘头的“幻觉”缺陷。例如NPC观测到虚拟小镇中有“公厕”，就不认为是“单人厕所”，出现了“AI使用洗手间时常被其他AI闯入”的互动场景。虚拟小镇上的商店是下午五点关门，然而NPC们时常在歇业时间试图进入。有AI看到其他NPC的名字是亚当·史密斯，就说：“啊我晓得你，你就是那个18世纪的经济学宗师。”

　　论文中提到了这些缺陷，还说“提示词黑客手段-即人类玩家用仔细准备好的对话内容来迷惑NPC行为体，可以让AI幻觉出从未发生的事件的记忆。”

　　现在很多游戏业者认为生成式AI的技术还在襁褓期，暴炒Chatgpt的人很多五六年前在狂吹加密货币。有名的波兰游戏公司CD Projekt Red，其动作游戏系列的内容开发者领军人在2023年1月说，NPC离自行建立一个生态活跃的虚拟社区，还太过遥远。

　　生成式AI的确是在襁褓期，但襁褓中的生物，最突出特征就是飞快的生长速度。AI大模型将如何改变游戏业，实在让人充满憧憬。