谷歌Deepmind表示开放式AI是实现超级智能的关键

　　谷歌 Deepmind 的研究人员表示，AI 系统具备开放式的能力是发展超级智能的关键。他们认为，单纯依靠不断扩大的数据集并不足以实现超级人工智能(ASI)，而现有的规模化策略往往集中在使用更多的计算资源和数据。相反，AI 系统必须能够以开放式的方式产生新知识，并自主改进其学习能力。

　　研究人员将 AI 系统定义为 “开放式” 的，如果它不断产生新的、难以预测的且具有学习意义的物件，即使观察者通过研究过去的物件已经变得更擅长于预测。AI 生成内容的开放性取决于观察者是否将生成的事物视为新的，并且能否从中学到东西。举例来说，对于老鼠来说，飞机是新的，但它无法理解背后的原理。对于航空航天工程学生来说，飞机的设计是新的且具有学习意义，这使得系统在这种情况下是开放的。一个具有广泛航空知识的外星人可能并不觉得这些设计是新的，但它可以分析和理解它们。

　　研究人员举例说明了一些开放系统及其局限性。AlphaGo 能不断制定新的策略来击败学习中的人类，但仅限于人类设定的规则内。尽管这样的系统是开放的，但它太狭窄，无法发现新的科学或技术。另一个例子是 “AdA” 代理，它在一个具有数十亿种可能变化的3D 世界中解决任务。通过训练，AdA 逐渐获得了在越来越复杂和陌生的环境中的技能。

　　然而，这种开放性在环境设置的限制下存在局限性:POET 系统训练与不断发展的环境相连接的代理。通过在环境之间进行切换，代理最终解决了通过直接优化无法解决的非常复杂的任务。然而，这种开放性受环境设置的限制:在某个时刻，POET，就像 AdA 一样，达到了一个极限。

　　与之相反的是，当前的基础模型，如大型语言模型，不是 “开放式” 的，因为它们是在静态数据集上训练的;它们最终会停止产生新的物件。根据论文，它们将 “很快达到瓶颈”。然而，如果它们不断得到新数据并与开放式方法(如强化学习、自我改进、自动生成任务和进化算法)结合，它们可能会引领开放系统的道路。

　　研究人员还警告存在重大的安全风险。所产生的物件必须始终能够为人类所理解和控制。必须从一开始就将安全性内置到开放式系统的设计中，以防止超级智能 AI 失控。但是，如果这些挑战能够被克服，研究人员相信开放式基础模型可能会实现科学和技术领域的重大突破。

　　Deepmind 联合创始人 Demis Hassabis 在一年前暗示谷歌 Deepmind 正在测试将 AlphaGo 等系统的优势与大型模型的知识相结合。然而，迄今为止谷歌发布的 Gemini 模型尚未提供如此突破性的创新，而且它几乎无法与 OpenAI 的 GPT-4相媲美。OpenAI 的 Q * 模型也可能旨在结合类似于谷歌 Deepmind 的 AlphaZero 与语言模型的想法，类似于微软研究人员最近展示的 “Everything of Thought”。