大模型自动搜索人工生命，做出AI科学家的Sakana AI又放大招

　　2024临近尾声，AI 又给了所有人一个大惊喜，这次可以用来自动发现新的人工生命形式了。

　　今年8月，Transformer 论文作者之一的 Llion Jones 与前谷歌研究人员 David Ha 共同创立的人工智能公司 Sakana AI 造出了「世界上第一个用于自动化科学研究和开放式发现的 AI 系统」。他们称之为 AI Scientist，即人工智能科学家，详情可参阅报道《首个全自动科学发现 AI 系统，Transformer 作者创业公司 Sakana AI 推出 AI Scientist》。

　　而现在，他们又拿出了另一项震撼性的重磅研究成果:使用基础模型搜索人工生命的系统 ASAL。

　　人工生命(Artificial Life)，听起来很科幻，但其定义并不复杂:就是被制造出来的生命。数学家约翰・何顿・康威在1970年提出的著名的「生命游戏」便是一种模拟人工生命系统，其中定义的规则可让其中的「细胞」像生命体一样运作。

　　研究人工生命的一个核心哲学理念是我们不仅想要了解「我们所知的生命」，还想要探索「可能存在的生命」。下图为 ASAL 其中一位作者 Phillip Isola 的推文以及他分享的一种人工生命。

　　此外，人工生命研究还可以得到有望改变和加速 AI 进步的关键见解。该团队表示:「通过利用 AI 加速人工生命的发现，我们可以加速对涌现、进化和智能的理解 —— 这些核心原则可以启发下一代 AI 系统!」

　　该研究发布后吸引了大量点赞和讨论。

　　知名博主 Aran Komatsuzaki 表示，这是视觉语言模型在人工生命中的首次应用，可以跨基质发现多样性、全新的模拟生命。

　　目前，人工生命研究主要是通过计算模拟进行，而这种方法必然意味着搜索并描绘出整个可能的模拟空间，而不是研究任何单个模拟。这样一来，研究者便可以了解不同的模拟配置可以怎样产生不同的涌现行为。Sakana AI 的这篇论文首次实现了借助基础模型来自动化这个搜索过程。另外，OpenAI、MIT等其他机构和独立研究者也参与了研究。

　　虽然人工生命模拟的进化和学习的具体机制有很多，但迄今为止，该领域取得实质性进展的一个主要障碍是:缺乏一种系统的方法来搜索所有可能的模拟配置。如果没有这种方法，在设计人工世界最重要的方面(世界本身的规则)时，研究者就必须依靠直觉。

　　对此，一部分挑战在于简单组件的大规模相互作用可能会产生复杂的涌现现象，这些现象很难甚至不可能被提前预测。

　　正是由于模拟配置与涌现现象之间缺乏关联，因此研究者很难凭直觉设计出能展现出自我复制、类似生态系统的动态或具有开放属性的模拟。因此，这一领域的实际做法往往是针对简单和预期的结果来设计模拟，这就限制了意外发现的可能性。

　　也许，是时候自动化了!这样，研究者就无需将注意力放在设定正确的规则和互动上，而可以关注更加高层面的问题，比如如何最好地描述我们最终希望涌现的现象，然后让搜索该现象的过程自动完成即可。

　　不过，描述目标现象本身就极具挑战性。虽然之前已经有一些研究试图通过复杂的度量(比如生命、复杂度、有趣度等)来量化人工生命，但这些度量基本上都无法完全体现人类想要表达的那种微妙的生命概念。

　　Sakana AI 表示:「虽然我们还不了解我们的宇宙为何或如何变得如此复杂、丰富和有趣，但我们仍然可以将其作为指引，引导我们创建引人入胜的人工生命世界。」

　　该团队认为，在大量自然数据上训练得到的基础模型具备类似于人类的表征，甚至可能基于我们的真实世界统计数据得到一个理想化的表征。这种特性使得基础模型非常适合用于量化人类对人工生命复杂度的概念。

　　该团队的 ASAL(自动搜索人工生命)研究便是基于这一思路开展的。他们表示这是一种人工生命研究的新范式。

　　既然是新范式，那么肯定需要做一些定义。

　　首先，该团队将所需的模拟集合定义为 substrate，即基质。然后，如图1所示，ASAL 让基础模型可使用三种不同的方法来识别所需的人工生命模拟:

　　1. 监督式目标:搜索能产生指定目标事件或事件序列的模拟，有助于发现任意世界或与我们自己的世界相似的世界。

　　2. 开放式:在基础模型的表征空间中搜索会随时间不断提供新变化的模拟，由此可以发现对人类观察者来说总是很有趣的世界。

　　3. 阐明(Illumination):搜索一组相关的多样化模拟，从而展现对我们来说非常陌生的世界。

　　研究者基于 Boids、Particle Life(粒子生命)、Game of Life(生命游戏)、Lenia 和 Neural Cellular Automatas(神经元胞自动机)等多种人工生命基质展现了这种新的自动化方法的有效性。

　　在每种基质中，ASAL 都发现了以前从未见过的生命形式，并扩展了人工生命中涌现结构的边界。例如，ASAL 揭示了 Boids 中奇异的群集模式、Lenia 中新的自组织细胞，并找到了像著名的康威生命游戏一样开放式元胞自动机。

　　方法:自动搜索人工生命

　　图2展示了新提出的 ASAL 范式，其中包括三种基于视觉 - 语言基础模型的算法。每种方法都能通过不同类型的自动搜索发现人工生命模拟。深入细节之前，先来看看相关概念和符号。

　　人工生命基质(substrate)，记为 S，其包含任何一组相关的人工生命模拟(例如，所有 Lenia 模拟的集合)。这些模拟可能在初始状态、转换规则或两者上有所不同。S 由 θ 参数化，它定义的单个模拟具有三个分量:

　　初始状态分布 Init_θ

　　前向动态阶跃函数 Step_θ

　　渲染函数，Render_θ，作用是将状态转换为图像

　　虽然通常而言，并不需要参数化和搜索渲染函数，但当状态值难以先验地解读时，就很有必要了。将这些项串到一起，可定义一个 θ 函数，它对初始状态 s_0进行采样，运行 T 步模拟，并将最终状态渲染为图像:

　　最后，还有另外两个函数 VLM_img (・) 和 VLM_txt (・)，它们的作用是 通过视觉 - 语言基础模型嵌入图像和自然语言文本，以及相应的内积 ⟨・，・⟩，以促进该嵌入空间的相似性测量。

　　监督式目标

　　人工生命的一个重要目标是找到能让所需事件或事件序列发生的模拟。这样的发现将使研究者能够找到与我们自己的世界相似的世界，或测试某些反事实的进化轨迹在给定基质中是否可能，从而深入了解某些生命形式的可行性。

　　为此，ASAL 会搜索一种模拟，该模拟会产生与基础模型表示中的目标自然语言提示词相匹配的图像。研究者可以控制在每个时间步骤应用哪个提示(如果有的话)。

　　开放式

　　人工生命的一大挑战是寻找开放式模拟。找到这样的世界才能复现现实世界中永无止境的有趣新奇事物的爆发。

　　尽管开放性是主观的且难以定义，但正确表示空间的新颖性(novelty)可以体现开放性的一般概念。这样一来，可将测量开放性的主观性外包给表征函数的构建。在本文中，视觉 - 语言基础模型表征充当了人类表征的代理。

　　阐明

　　人工生命的另一个关键目标是自动阐明不同现象构成的整个空间，而这些现象是从基质涌现出来的。基于此，可以让我们了解「生命的可能模样」。因此，阐明是描绘和分类整体基质的第一步。

　　为了实现这一目标，ASAL 会搜索一组模拟并且这些模拟产生的图像与基础模型表征中的最近邻相距甚远。该团队发现最近邻多样性比基于方差的多样性能实现更好的阐明。

　　实验表明 ASAL 还真行

　　该团队使用不同的基质验证了 ASAL 范式的有效性。

　　首先，他们使用的基础模型包括 CLIP 和 DINOv2。基质则如下所述:

　　Boids:模拟的是 N 个「鸟状物体(boids)」在2D 欧几里得空间中的移动情况。所有 boids 都共享权重一样的神经网络，其会根据局部参考系中 K 个近邻 boids 向左或向右操纵每个 boid。该基质是神经网络的权重空间。

　　粒子生命:模拟 N 个粒子，这些粒子又可分为 K 类;它们在一个2D 欧几里得空间运动。该基质是 K × K 相互作用矩阵的空间，β 参数确定了粒子之间的距离。初始状态是随机采样的，粒子会自组织形成动态模式。

　　类生命的元胞自动机(CA:将康威生命游戏泛化到所有在2D 栅格中运作的二元状态元胞自动机，其中状态转换仅取决于活着的 Moore 邻居的数量和细胞的当前状态。该基质有2^18=262，144种可能的模拟。

　　Lenia:将康威生命游戏推广到连续空间和时间，允许更高的维度、多个核和多个通道。该团队使用了 LeniaBreeder 代码库，它定义了基质，其中动态维度为45个，初始状态维度为32×32×3=3，072个。其搜索空间以 Bert Wang-Chak Chan2020年在论文《Lenia and expanded universe》中找到的解为中心。

　　神经元胞自动机(NCA):通过神经网络表示局部转换函数来参数化任何连续元胞自动机。该基质是神经网络的权重空间。

　　搜索目标模拟

　　其中包括单个目标和随时间变化的目标序列。

　　对于单个目标，以下动图定性地展示 ASAL 的良好效果，可以找到与指定提示词匹配的模拟。

　　对于时间目标，下图表明可以找到能产生遵循一系列提示词的轨迹的模拟。通过指定所需的进化轨迹并使用约束基质，ASAL 可以识别体现所需进化过程本质的更新规则。例如，当提示词序列为「一个细胞」然后是「两个细胞」时，相应的更新规则本质上就是实现自我复制。

　　搜索开放式模拟

　　图5展示了 ASAL 在类生命元胞自动机的开放式模拟中的潜力。

　　根据3式中的开放式指标，著名的康威生命游戏位列最开放的元胞自动机(CA)的前5%。

　　图5a 表明，最开放的 CA 表现了处于混沌边缘的非平凡动态模式，因为它们既没有稳定也没有爆发。

　　图5b 则描绘了三个 CA 在 CLIP 空间中随模拟时间的轨迹。由于基础模型的表征与人类表征相关，因此通过基础模型的表征空间在轨迹中产生新颖性也会为人类观察者产生一系列新颖性。

　　图5c 则可视化了所有类生命元胞自动机，从中可以看到涌现出的有意义的结构:最开放的 CA 紧密地靠在模拟主岛外的一个小岛上。

　　阐明整体基质

　　该团队使用了 Lenia 和 Boids 基质来研究公式4中的阐明算法的有效性。基础模型是 CLIP 。他们定制了一个用于搜索的遗传算法:在每一代，随机选择父母，创建变异的孩子，然后保留最多样化的解子集。

　　下面的2个「Simulation Atlas」展示了生成的模拟集。

　　此可视化凸显了按视觉相似性组织的行为的多样性。使用 Lenia 时，ASAL 发现了许多前所未见的生命形式，这些生命形式类似于按颜色和形状组织的细胞和细菌。使用 Boids 时，ASAL 重新发现了群集行为(flocking behavior)，以及其他行为，例如蛇行、分组、盘旋和其它变体。

　　‍

　　‍

　　量化人工生命

　　基础模型不仅有助于搜索有趣现象，而且还可以量化以前只能进行定性分析的现象。图7展示了量化这些复杂系统的涌现行为的不同方法。

　　在图7a 中，对两个 Boids 模拟之间的参数进行线性插值。这个中间模拟缺乏任一模拟的特征并且显得无序，表明了 boids 参数空间的非线性、混沌性质。重要的是，现在可以通过测量中间模拟的最终状态与两个原始模拟的 CLIP 相似性来为这种定性观察提供定量支持。

　　图7b 则评估了粒子生命中粒子数量对其表示某些生命形式的能力的影响。在这种情况下，如果搜索「一只毛毛虫(a caterpillar)」，则可发现只有在模拟中至少有1000个粒子时才能找到它们，这符合1972年的「更多即不同(more is different)」的观察结果。

　　在图7c 中，通过单独扫描每个参数并测量 CLIP 提示词对齐分数的结果标准偏差，量化了粒子生命中每个模拟参数的重要性。在确定最重要的参数后，便对应上了绿色和黄色粒子之间的相互作用强度，这对于毛毛虫的形成至关重要。

　　图7d 给出了对于 Lenia 模拟，CLIP 向量随模拟时间的变化速度。当模拟定性地看起来已成静态时，该指标恰好稳定，因此这可提供有用的模拟停止条件。

　　对于这项研究，你有什么看法呢?