三巨头：深度学习的未来

　　过去的几年已经证明，作为深度学习模型的主要组成部分，人工神经网络相对生物大脑来说缺乏效率、灵活性以及通用性。

　　本吉奥、辛顿和勒库在论文中提到：虽然在各式任务中取得成功，但监督学习需要大量的数据标注，而仅基于奖励的强化学习又需要大量交互。这正是当下的机器学习需要突破的地方。

　　具体来说，监督学习是机器学习中的一种训练方式，通过让机器学习大量带有标签的样本数据，训练出一个模型，并使该模型可以根据输入得到相应输出的过程。简言之，在训练集中找规律，再对测试样本使用这种规律。由此可见，对于有大量标签样本的任务来说监督学习非常有用。

　　强化学习则是机器学习的另一种训练方式，机器（agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖励指导行为，旨在使机器选择的行为能获得环境最大的奖励。简单如五子棋的棋盘，机器在棋盘上排列出五子连珠即可获得奖励，复杂如城市交通环境，自动驾驶汽车在其中要避免碰撞、遵守交规、到达目的地就能获得奖励。

　　上述可见，这两种机器学习的方式需要投入大量劳力。对监督学习来说，标注数据集非常难得，尤其是在没有开源数据集的专业领域，因为这往往意味着大量标注的人力成本和时间。对强化学习来说，需要大量的计算资源来进行不断地训练试错，因此只有少数公司和科研机构可以采用这一训练方式。

　　本吉奥、辛顿和勒库也在文中提到，目前深度学习能解决的问题范围依然比较局限。固然这些学习方式在某些特定任务中表现出色，但出了那个它们接受过训练的狭窄领域后，这些系统往往是脆弱的。一般来说，一些细微的变化，诸如图片像素的微调或环境规则的变更，都可能导致深度学习任务误入歧途。

　　这种局限性很大程度上要归因于“独立同分布”（I.I.D）假设。从早期开始，机器学习领域的理论家们就专注于I.I.D假设——测试用例应该来自与训练用例相同的分布。但遗憾的是，这种假设与现实世界并不相符。

　　现实世界的构成会因为不同的因素而不断变化，其中许多因素如果没有因果模型几乎是不可能展现的。智能体必须不断地观察并从环境和其他智能体中学习，从而使自己的行为适应这种变化。事实上，即使是当今最好的人工智能系统，从实验室迁移到生产环境时表现也往往会受影响。

　　当应用到诸如计算机视觉和自然语言处理等领域时，智能体必须处理高熵环境，I.I.D假设就变得更加脆弱。目前很多研究人员和公司试图通过在更多数据上训练神经网络来克服深度学习的局限性，希望更大的数据集覆盖更广泛的分布，从而降低其在现实世界中的失败几率。

　　深度学习vs混合人工智能

　　人工智能科学家的最终目标是通用人工智能。但如今的深度学习系统对于分布变化适应的鲁棒性较之人类还是相去甚远。

　　本吉奥、辛顿和勒库在他们的论文中提到，人类和动物主要通过观察来学习大量关于这个世界的常识。这些常识可以作为基础帮助人类学习复杂任务，因此人类往往只需要几个范例，就能够快速适应类似的变化。

　　他们认为，人类进行泛化的方式不同于普通的I.I.D：人类正确解释现有概念的新组合。即使这些组合在我们的训练分布中出现的概率极低，只要符合我们已经学到的高级句法和语义模式，我们就能正确理解。

　　科学家们为缩小人工智能和人类智能之间的差距提供了各种解决方案。在过去几年中，一种被广泛讨论的方法是将神经网络与经典符号系统相结合的混合人工智能。符号操纵是人类思考世界能力的重要组成部分，也是深度学习系统面临的巨大挑战之一。但本吉奥、辛顿和勒库并不认可这一观点，他们并不相信神经网络和符合人工智能的混合方案。他们认为，更好的神经网络架构将最终覆盖到人类和动物智能的各个方面，包括符号操纵、推理、因果推理和常识。

　　新进展

　　如果要让未来的机器学习系统有更好的泛化能力，以及更快地适应分布外数据，我们应该如何进行设计？

　　在他们的论文中，Bengio, Hinton和LeCun介绍了深度学习的最新进展。其中一个例子就是Transformer，这种神经网络架构已经成为很多应用中的主导架构，包括我们比较熟悉的OpenAI的GPT-3和谷歌的Meena等语言模型的核心。Transformer的优势之一是无需标注数据就能学习。Transformer可以通过自监督学习来开发表征，然后在收到提示后应用这些表征来填补单词缺失的句子或生成连贯的文本。最近，研究人员发现Transformer也可以应用于计算机视觉任务。Transformer与卷积神经网络相结合可以预测隐藏区域的内容。

　　一种更有前景的技术是对比学习，它试图找到缺失区域的向量表示，而不是预测准确的像素值。这似乎是一种更接近人类思维的方式。当我们看到如下图所示的图像时，我们可能无法精准地描述真实照片的细节，但我们的大脑可以对遮罩区域（如门、窗等）中可能出现的情况进行高水平的描述。这可能更有利于将神经网络中的向量表示与现实世界的概念结合起来。

[[419935]]

　　让神经网络减少对人类标注数据的依赖，契合勒库专注的自监督学习方向的研究。

　　其他要点

　　如今的深度学习对于感知而言无疑是最为成功的，也就是所谓的系统1类任务，如何通过深度学习进行系统2类任务，则需要审慎的通用步骤。在这方面的研究也令人期待。

　　“系统2类深度学习”这个概念借用了诺贝尔奖得主心理学家丹尼尔·卡尼曼的术语。系连通2类描述了需要有意识思考的大脑功能，包括符号操作、推理、多步骤规划和解决复杂的数学问题。系统2类深度学习仍处于早期阶段，但如果它成为现实，它可以解决神经网络的一些关键问题，包括分布外泛化、因果推理、鲁棒迁移学习和符号操作。

　　此外，“胶囊网络”是辛顿过去几年关注的一个研究领域。胶囊网络的目的是将神经网络从检测图像中的特征升级到检测物体、物体的物理性质以及物体之间的层次关系。胶囊网络可以通过直观物理学提供深度学习，这种能力使人类和动物能够理解三维环境。

The future of deep learning, according to its pioneers – TechTalks  https://bdtechtalks.com/2021/07/01/deep-learning-future-bengio-hinton-lecun/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial_Intelligence_Weekly_224

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】