最近,WIRED对DeepMind的负责人Hassabis进行了专访,聊了很多关于最近发布的产品,以及未来人工智能发展技术道路的问题,干货满满。
在他看来,未来人工智能技术的发展,远远没有到只比拼算力和规模的程度,在基础构架,Agent等方面还有很多的想象空间。
谷歌的优势在新技术的研发
问:Gemini Pro 1.5能够处理的数据量远超前代产品。得益于一种叫做「MoE」的架构,它在同等规模下的能力也得到了增强。这些进步为什么重要?
Demis Hassabis :你现在可以处理一个普通长度的短片。我认为,如果你正在学习某个主题,要看一个小时的讲座,或者想要查找某个特定的信息或者讲座中提到的某个点,我们的更新都会非常有用。
Jeff Dean用MoE做了这个新的Gemini Pro版本,虽然还没有进行大规模测试,但其性能大致相当于上一代架构中最大的模型。
我们完全有能力使用这些创新来创建一个Ultra大小的模型,这正是我们正在努力的方向。
Hassabis认为,过去几年里,增加AI模型训练中使用的计算能力和数据量是推动了巨大进步的关键因素。
有传言称Sam Altman正在寻求筹资高达7万亿美元以购买更多的AI芯片。
对此,Hassabis反问:「是不是谣传?我听说似乎是日元为单位?」
「不过,确实,规模很重要,这就是英伟达现在市值飙升的原因。
这也是Sam正在努力筹集资金的原因。但与许多其他机构不同的是,我们一直把基础研究放在首位。
在过去十年的开创性工作中,Google Research、Google Brain和DeepMind发明了我们今天使用的大多数机器学习技术。
这一直是我们的核心,我们拥有许多其他机构可能没有的资深研究科学家。相较之下,其他的初创公司甚至是大公司,往往更侧重于工程而非研究。」
AI技术突破还有很大空间
Hassabis表示,他相信要实现通用人工智能(AGI),不仅需要在现有技术上扩大规模,还需要很多重大的技术创新。
「我们还没有看到技术任何停滞不前的迹象,仍有进步空间。因此,我的观点是,我们应该继续推动现有技术,看看它们能走多远。但是,仅仅通过扩大现有技术的规模,你不会获得像规划、工具使用或智能体行为这样的新能力。这些能力不会无缘无故突然就发生。」
他还强调了探索计算本身的重要性。
「理想情况下,在几天内就能训练完成的小规模问题上进行实验,往往会发现,在小规模上有效的方法,在大规模上可能不适用。所以,存在某一个有效的阈值,可能可以将规模扩大10倍(extrapolate maybe 10X in size)。」
智能体是下一个热点
当被问及未来AI公司之间的竞争是否将越来越多地围绕工具使用和智能体时,Hassabis表示这是很可能的。
「我们长期以来一直在这条道路上;实际上,智能体、强化学习和规划是我们的专长,自AlphaGo时代以来就是如此。
我们正在重新审视许多想法,考虑将AlphaGo的能力与这些大型模型相结合。内省和规划能力将有助于改善诸如幻觉等问题。」
他还指出:「这无疑是一个巨大的领域。我们正在投入大量的时间和精力,我们认为这将极大地提升这些系统的能力——当它们开始表现得更像智能体时。我们正在大力投资这个方向,我想其他人也在做同样的事。」
至于将AI模型变得更像智能体是否也会使它们变得更有问题或潜在危险,Hassabis表示,这确实是一个巨大的变化。
「一旦我们让类似智能体的系统开始工作,AI的感觉将与当前的系统截然不同,因为它们将从被动的问答系统转变为主动的学习者。
当然,它们也会因为能够真正完成任务而变得更加有用。但我们需要更加谨慎。」
他强调了在将这些智能体部署到网络上之前,在模拟环境中进行测试的重要性。
「我一直主张在发布之前,在严格的模拟环境中测试智能体。
还有很多其他的建议,但我认为行业应该开始认真考虑这些系统的出现。可能还需要几年时间,或许更快,但这是一个不同类别的系统。」
在谈到测试他们最强大的模型——Gemini Ultra花了很长时间才交付的原因时,Hassabis说,既是因为开发速度,也因为模型本身更加复杂。
「首先,更大的模型在微调时更复杂,所以需要更长的时间。更大的模型还有更多需要测试的能力。」
Hassabis希望人们注意到,随着Google DeepMind作为一个统一组织的稳定,他们越来越倾向于早期发布产品,将其以实验性质提供给少数用户,然后根据这些可信赖的早期测试者的反馈进行调整,以便在普遍发布之前做出改进。
关于与政府机构如英国AI安全研究所的合作进展,Hassabis表示:
「进展顺利。我不确定我能说什么,因为这些都是机密信息,但他们当然可以访问我们的前沿模型,他们正在测试Ultra,我们将继续与他们密切合作。
我认为美国的相应机构也在设立过程中。这是来自布莱切利公园AI安全峰会的积极结果。他们可以检查我们没有权限检查的事物,比如化学、生物、辐射和核武器(CBRN)方面的问题。」
Hassabis认为,当前的系统还不足以执行任何实质性的、令人担忧的任务。
「但现在就建立起政府、行业和学术界的合作机制是很好的。我认为,智能体系统将是下一个重大的变革。我们会看到沿途的逐步改进,可能还会有一些重大的突破,但那将带来完全不同的体验。」