人工智能击球窥探神经网络奥秘-编程学习网

DeepMind,哈佛造出了 AI「小白鼠」:从觅食,击球窥探神经网络奥秘。人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。

人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。我们可以用研究小白鼠的方式来研究 AI 吗？或许可以。在一篇 ICLR 2020 Spotlight 论文中，DeepMind 和哈佛大学的研究者构建了一个基于 AI 的虚拟小鼠，能够执行跑、跳、觅食、击球等多项复杂任务。他们还尝试用神经科学技术来理解这个「人造大脑」如何控制其行为。或许这一成果可以为我们提供人工智能研究的新思路。

人工神经网络算是目前最为先进的人工智能，这是一类由多层神经元互联组件构成的机器学习算法，而「神经元」最早就是来自大脑结构的启发。尽管人工神经网络中的神经元肯定不同于实际人脑中的工作方式，但越来越多的研究者认为，将二者放在一起研究不仅可以帮助我们理解神经科学，还有助于打造出更加智能的 AI。DeepMind 和哈佛大学的研究者就在这一思路上进行了探索。

他们提出的是一种小鼠的 3D 模型，这一模型可在模拟环境中接受神经网络的控制。同时，他们用神经科学技术来分析小鼠的大脑生物活动，由此来理解神经网络如何控制小鼠的行为。该论文目前已被 ICLR 2020 大会接收为 Spotlight 论文。

论文链接：httPS://openreview.net/pdf?id=SyxrxR4KPS

论文作者之一、哈佛大学研究员 Jesse Marshall 表示，这个平台相当于神经科学领域的风洞，可以用不同程度的生物真实性来测试不同的神经网络，以此了解如何面对现实中的复杂挑战。

「在神经科学的典型实验中，研究人员通常会用敲击杠杆之类的单一行为来窥探动物的大脑活动，而大多数机器人也是为了解决定制任务而制造的，比如扫地机器人。这篇文章算是我们研究大脑如何产生并实现灵活性的开端，然后可以按照我们所观察到的结果来设计功能相似的人工智能产品。」

研究过程

构造一只虚拟小鼠

如下图 1 所示，研究者基于实验室小鼠的大小，在 MuJoCo 环境中（Todorov et al 于 2012 年提出）中实现了虚拟的小鼠身体。这个小鼠的可控自由度为 38，它的尾巴、脊柱和脖颈包含多段关节，并由共同驱动多关节的肌腱控制（MuJoCo 中的空间肌腱）。这一虚拟小鼠将作为「dm_control/locomotion/」项目的一部分来开源。

项目地址：https://github.com/deepmind/dm_control/tree/master/dm_control/locomotion

虚拟小鼠可以获得本体感应信息（proprioceptive information）以及来自头戴式摄像头的「原始」、第一人称 RGB 相机（64×64 像素）输入。本体感应信息包括：内部关节角度和角速度、提供驱动的肌腱的位置和速度、从小鼠骨盆到爪子、头部的第一人称向量、类前庭的垂直取向向量、爪子中的接触感应区，以及骨盆的第一人称加速度、速度和 3D 角速度。

训练一个神经网络

近期的研究表明，端到端强化学习可以生成单一的地形自适应策略，基于此，研究者在多个依赖马达控制（motorcontrol）的任务上训练了单一架构，具体如下图 3 所示。

图 3：虚拟小鼠智能体架构。

为了训练一个可以执行所有四项任务的单一策略，研究者使用了用于动作评价结构（actor-critic）DeepRL 的 IMPALA-style 设置，并且通过直立迹（V-Trace）和异策略校正（off-policy correction）对价值函数评价器进行训练。

研究者在实验中发现，在与其他三个任务相关的交叉训练过程中，「逃离丘陵环境」任务的学习更具有挑战性。因此，研究者展示了在「逃离」任务中训练一个单一任务专家以及使用针对该任务的 kick-starting 训练多任务策略的结果，并且得出的系数很弱（.001 或.005）。逃离任务上使用 kick-starting 可以使小鼠更可靠地完成所有四项任务，不同架构的多任务策略之间也能更方便地进行比较。最后生成单个神经网络，该网络利用虚拟输入来决定小鼠的行为方式，并通过协调小鼠的身体来完成各项任务。

让小鼠完成四项任务

研究者借助训练好的神经网络指导小鼠完成四个动作：跳过多个空隙、在迷宫中觅食、逃离丘陵环境、精确地击球。