超级智能的发展是科学家们争论不休的话题。超级智能是从更传统的通用人工智能(AGI)概念演变而来的。这种功能强大的技术可能在目前的十年内出现,可能解决重大的全球问题,也可能导致人类的权力丧失或灭绝。
OpenAI(美国人工智能研究公司)的战略包括创建一个具有人类水平能力的自动对齐研究人员,并利用大量计算资源迭代地训练和对齐超级智能。这个过程被称为超级智能对齐,需要人工智能对齐技术的创新、广泛的验证和对抗性压力测试。
OpenAI正在投入大量资源和研究来应对这一挑战,并鼓励杰出的研究人员和工程师共同努力。然而,术语从通用人工智能到超级智能的转变,是否会对围绕人工智能风险和收益的持续争论产生深远影响,还有待观察。
OpenAI强调了超级智能的潜力,它可能是有史以来最有影响力的技术,能够解决重大的全球问题。然而,它也承认与超级智能相关的巨大风险,人类被剥夺权力甚至灭绝。
尽管超级智能看似遥远,但OpenAI相信它可能会在这十年内出现。管理这些风险需要新的治理机构,并应对使超级智能与人类意图保持一致的挑战。有趣的是,OpenAI使用的是这个术语,而不是更传统的通用人工智能(AGI)。他们的理由如下:
在这里,我们关注超级智能,而不是通用人工智能,以强调更高的能力水平。在未来几年里,我们对这项技术的发展速度有很多不确定性,所以我们选择瞄准更困难的目标,以校准一个更有能力的系统。
当前的人工智能对齐技术,例如根据人类反馈进行强化学习,不足以控制潜在的超级智能人工智能。人类无法可靠地监督比我们聪明得多的系统,现有技术也无法扩展到超级智能。OpenAI强调需要科学和技术突破来克服这些挑战。
OpenAI的方法涉及构建一个具有大致人类水平能力的自动对齐研究人员。大量的计算资源将被用来扩展他们的努力,并迭代地调整超级智能。关键步骤包括开发可扩展的训练方法、验证生成的模型以及对对齐管道进行压力测试。根据OpenAI公告的,这个概念被称为超级智能对齐。
为了解决评估对人类具有挑战性的任务的困难,可以采用人工智能系统进行可扩展的监督。将监督推广到无监督任务,以及检测有问题的行为和内部结构,对于验证一致性至关重要。对抗性测试,包括训练未对齐的模型,将有助于确认对齐技术的有效性。
OpenAI预计,随着对该问题的了解越来越多,其研究重点将会发生变化,并且他们计划在未来分享他们的路线图。他们组建了一支由顶尖机器学习研究人员和工程师组成的团队,致力于解决超级智能对齐问题。OpenAI将在未来四年内将其20%的安全计算投入到这项工作中。
虽然不能保证成功,但OpenAI仍然乐观地认为,集中一致的努力可以解决这个问题。他们的目标是提供证据和论据,让机器学习和安全社区相信问题已经解决,他们正在积极与跨学科专家合作,考虑更广泛的人类和社会问题。
OpenAI鼓励杰出的研究人员和工程师,即使是那些以前没有从事过对齐工作的人,也加入到他们的努力中。他们认为超级智能对齐是最重要的未解决的技术问题之一,并认为这是一个易于处理的机器学习问题,具有重大贡献的潜力。
关于人工智能、通用人工智能以及从实用到人类毁灭等复杂的相互关联问题,激烈争论似乎正在形成新的裂痕。如今,词汇已经发生了一些变化,但尚不清楚这是科学还是语义。