由于 LLM 已被证明存在「幻觉」问题，即生成与事实不符的信息，因此利用 LLM 来做可验证的正确发现是一项挑战。
现在，来自 Google DeepMind 的研究团队提出了一种为数学和计算机科学问题搜索解决方案的新方法 ——FunSearch。FunSearch 的工作原理是将预训练的 LLM（以计算机代码的形式提供创造性解决方案）与自动「评估器」配对，以防止产生幻觉和错误思路。通过在这两个组件之间来回迭代，最初的解决方案演变成了「新的知识」。相关论文发表在《自然》杂志上。
论文地址：https://www.nature.com/articles/s41586-023-06924-6
这项工作是首次利用 LLM 在科学或数学的挑战性开放问题方面取得新发现。
FunSearch 发现了 cap set 问题的全新解决方案，这是数学中一个长期存在的开放问题。此外，为了展示 FunSearch 的实际用途，DeepMind 还用它来发现更有效的算法来解决「装箱」问题，该问题应用广泛，比如可以用于提高数据中心的效率。
研究团队认为 FunSearch 将成为一个特别强大的科学工具，因为它输出的程序揭示了其解决方案是如何构建的，而不仅仅是解决方案是什么。这将会激发科学家的进一步见解，从而形成科学改进与发现的良性循环。
通过语言模型的进化推动发现
FunSearch 采用由 LLM 支持的进化方法，鼓励并推动得分最高的思路想法。这些想法被表达成计算机程序，以便它们可以自动运行和评估。
首先，用户需要以代码的形式编写问题的描述。该描述包括评估程序的过程和用于初始化程序池的种子程序。
FunSearch 是一个迭代过程，在每次迭代中，系统都会从当前的程序池中选择一些程序，并将其馈送到 LLM。LLM 创造性地在此基础上进行构建，生成新的程序，并自动进行评估。最好的程序将被添加回现有程序库中，从而创建一个自我改进的循环。FunSearch 使用 Google 的 PaLM 2，但对其他接受过代码训练的方法兼容。
LLM 会从程序数据库中检索出生成的最佳程序，并被要求生成一个更好的程序。
众所周知，在不同领域发现新的数学知识和算法是一项艰巨的任务，很大程度上超出了当前最先进人工智能系统的能力。为了让 FunSearch 做到这一点，该研究引入了多个关键组件。FunSearch 不是从头开始，而是从关于问题的常识开始一个进化过程，让 FunSearch 专注于寻找最关键的想法以获得新的发现。
此外，FunSearch 的进化过程使用一种策略来提高想法的多样性，以避免出现停滞情况。最后，为了提高系统效率，进化过程是并行运行的。
在数学领域开辟新天地
DeepMind 表示，他们首先要解决的是 Cap set 问题，这是一个开放性难题，几十年来一直困扰着多个研究领域的数学家。知名数学家陶哲轩曾把它描述为自己最喜欢的开放性问题。DeepMind 选择与威斯康星大学麦迪逊分校的数学教授 Jordan Ellenberg 合作，他是 Cap set 问题的重要突破者。
这个问题包括在一个高维网格中找到最大的点集（称为 cap set），其中没有三个点位于一条直线上。这个问题之所以重要，是因为它可以作为极值组合学中其他问题的模型。极值组合学研究的是数字、图或其他对象的集合可能有多大或多小。暴力解除方法无法解决这个问题 —— 要考虑的可能性数量很快就会超过宇宙中原子的数量。
FunSearch 以程序形式生成的解决方案在某些情况下发现了有史以来最大的 cap set。这代表了过去 20 年中 cap set 规模的最大增长。此外，FunSearch 的性能超过了最先进的计算求解器，因为这个问题的规模远远超出了它们目前的能力。
交互式图表显示了从种子程序（上）到新的高分函数（下）的演变。每个圆圈都代表一个程序，其大小与分配给它的分数成正比。图中仅显示底部程序的上级。FunSearch 为每个节点生成的相应函数如右侧所示。
这些结果表明，FunSearch 技术可以让人类超越困难组合问题的既定结果，而在这些问题上很难建立直觉。DeepMind 期望这种方法能够在组合学中类似理论问题的新发现中发挥作用，并在未来为通信理论等领域带来新的可能性。
FunSearch 偏好简洁、可由人类理解的程序
尽管发现新的数学知识本身意义重大，但与传统的计算机搜索技术相比，FunSearch 方法还展现出了其他的优势。这是因为，FunSearch 并不是一个只会生成问题解决方案的黑箱。相反，它生成的程序会描述出这些解决方案是如何得出的。这种「show-your-working」通常是科学家的工作方式，他们通过阐述产生新发现或新现象的过程来解释这些发现或现象。
FunSearch 更倾向于寻找高度紧凑的程序所代表的解决方案，即具有较低 Kolmogorov 复杂度的解决方案（Kolmogorov 复杂度是输出解的最短计算机程序的长度）。简短的程序可以描述非常大的对象，从而使 FunSearch 能够扩展到非常复杂的问题。此外，这也让研究人员更容易理解 FunSearch 的程序输出。Ellenberg 说：「FunSearch 为制定打击策略提供了一种全新的机制。FunSearch 生成的解决方案在概念上要比单纯的数字列表丰富得多。当我研究它们时，我学到了一些东西。」
更重要的是，FunSearch 程序的这种可解释性可以为研究人员提供可操作的见解。例如，DeepMind 在使用 FunSearch 的过程中注意到，它的一些高分输出的代码中存在耐人寻味的对称性。这让 DeepMind 对问题有了新的认识，他们利用这种认识改进了引入 FunSearch 的问题，从而找到了更好的解决方案。DeepMind 认为，这是人类与 FunSearch 在数学领域的许多问题上进行合作的典范。
左图：通过检查 FunSearch 生成的代码，DeepMind 获得了更多可操作的见解（高亮部分）。右图：使用（更短的）左图程序构造的原始「可接受」集合。
解决一个众所周知的计算难题
在理论 cap set 问题取得成功的鼓舞下，DeepMind 决定将 FunSearch 应用于计算机科学中一个重要的实际挑战 —— 装箱问题（bin packing），以探索它的灵活性。装箱问题关注的是如何将不同尺寸的物品打包到最少数量的箱子中。它是许多现实世界问题的核心，从装载物品的集装箱到数据中心的计算工作分配，这些场景都需要最大限度地降低成本。
在线装箱问题通常使用基于人类经验的算法规则（启发式）来解决。但是，要为每种特定情况（大小、时间或容量各不相同）找到一套规则是非常具有挑战性的。尽管与 cap set 问题非常不同，但为这个问题设置 FunSearch 很容易。FunSearch 提供了一个自动定制的程序（适应数据的具体情况），优于现有的启发式方法 —— 可以使用更少的箱子来打包相同数量的物品。
使用现有启发式 ——Best-fit 启发式（左）和 FunSearch 发现的启发式（右）进行装箱的示例。
像在线装箱这样的复杂组合问题可以使用其他人工智能方法来解决，比如神经网络和强化学习。这些方法也被证明是有效的，但也可能需要大量的资源来部署。另一方面，FunSearch 输出的代码易于检查和部署，这意味着它的解决方案有可能被应用到各种现实工业系统中，从而迅速带来效益。
DeepMind：用大模型应对科学挑战将成普遍做法
FunSearch 证明，如果能防止 LLM 产生幻觉，那么这些模型的力量不仅可以用来产生新的数学发现，还可以用来揭示重要现实问题的潜在解决方案。
DeepMind 认为，对于科学和工业领域的许多问题 —— 无论是长期存在的问题还是新问题 —— 使用 LLM 驱动的方法生成有效和量身定制的算法将成为普遍做法。
其实，这仅仅是一个开始。随着 LLM 不断取得进展，FunSearch 也将不断完善。DeepMind 表示，他们还将努力扩展其功能，以应对社会上各种紧迫的科学和工程挑战。
