人工智能专家对人工智能的未来并没有明显的共识，这些判断很困难，而且没有确定的方法能够做得很好。因此我们必须结合各种有噪声的方法，比如推断进展趋势，根据类似事件的参考类别进行推理，分析代理的本质，探索当前人工智能系统和技术的特点，将经济模型应用于人工智能场景，以及依赖于预测聚合系统，如市场，专业预测者和各种主题专家的判断。
AI的进展速度、影响范围、安全性、公平性、道德性等，这些问题需要我们认真地思考和应对。人工智能的未来会是怎样的呢？我们应该如何看待人工智能的机遇和威胁呢？我们又应该如何规范和引导人工智能的发展和利用呢？
为了探索这些问题，AI Impacts（人工智能影响）这个致力于研究人类水平人工智能可能带来的影响的项目，开始这项调查名为“2023 年⼈⼯智能进展专家调查”（ESPAI）组织了一项前所未有的大规模的调查，向在六个顶级人工智能会议上发表过论文的2778名人工智能研究人员询问了他们对人工智能进展、影响和安全的看法。这些人工智能研究人员来自世界各地，涵盖了人工智能的各个子领域，他们的观点和预测可以反映出人工智能领域的专业和权威的声音。这项调查的结果已经以预印本的形式发表在网上，题为《数以千计的人工智能作者探讨人工智能的未来》（THOUSANDS OF AI AUTHORS ON THE FUTURE OF AI）。这篇文章的作者包括来自美国加州大学伯克利分校、德国波恩大学、英国牛津大学等知名学府的学者和研究人员。
AI Impacts对2,778名人工智能研究者进行了一项调查，他们在前一年在六个顶级人工智能会议上发表了同行评审的研究。据我们所知，这是迄今为止最大的人工智能研究者调查。这项调查是在2023年秋季进行的，在这一年里，人工智能取得了广泛的进步（包括ChatGPT和GPT-4，谷歌的Bard，必应人工智能聊天，Anthropic的Claude 1和2的发布），公众对人工智能问题的认识也发生了变化，以及美国，英国和欧盟的政府开始处理人工智能监管的问题[Biden, 2023, Amodei, 2023, gov.uk, 2023, European Parliament, 2023]。这项调查包括了关于人工智能进展的速度和动态，以及更先进的人工智能带来的社会后果的问题。
图片
图1：大多数里程碑被预测在未来十年内发生的可能性甚至更大，尽管有很多合理的日期。该图显示了预期选定里程碑时的总体分布，包括39项任务、四种职业和两种一般人类水平绩效指标，分别显示为实心圆、空心圆和实心正方形。圆圈/正方形表示总分布使里程碑有50%的概率达到的年份，区间表示25%至75%概率之间的年份范围。请注意这些区间表示参与者表达的不确定性的总和，而不是估计不确定性。
01 人工智能进展的预测：实现各种任务和水平的时间和概率
人工智能的进展是人工智能系统能够实现的任务和水平的提高，以及人工智能的技术和应用的创新和扩展。人工智能的进展速度是指人工智能实现某些任务和水平所需的时间的长短，以及人工智能的技术和应用的变化和更新的频率。人工智能的进展和进展速度是影响人工智能的未来的重要因素，它们决定了人工智能对人类社会的影响的程度和方向，以及人类应对人工智能的挑战和机遇的策略和方法。
在调查中，人工智能研究人员被问及了他们对人工智能实现各种任务和水平的时间和概率的预测，以及他们对人工智能进展速度对人类未来的影响的看法。这些任务和水平包括：
32个具体的人工智能任务，如自动驾驶、语音识别、图像生成、音乐创作、文本摘要、编程、翻译、游戏、医疗诊断等。
人类水平的人工智能（HLMI），即人工智能系统能够在所有领域和任务上达到或超过人类的水平。
超人类水平的人工智能（SHAI），即人工智能系统能够在所有领域和任务上远远超过人类的水平。
人类职业的自动化，即人工智能系统能够完全替代人类在某些职业中的工作。
对于这些任务和水平，人工智能研究人员被要求给出他们认为人工智能实现它们的时间和概率的预测，使用两种不同的提问方式：固定年份和固定概率。在固定年份的提问方式中，人工智能研究人员被要求给出他们认为人工智能在未来10年、20年和50年内实现某个任务或水平的概率。在固定概率的提问方式中，人工智能研究人员被要求给出他们认为人工智能实现某个任务或水平的10%、50%和90%的概率所对应的年数。这两种提问方式的目的是为了探究不同的提问方式对人工智能研究人员的预测的影响，以及反映出人工智能研究人员对人工智能进展的不确定性和敏感性。
图片
图2：许多人工智能里程碑的预期可行性在一年内（2022年至2023年）大幅提前。里程碑按2022年预测到2023年预测的下降幅度进行排序（在每个规模调整后的图表中），首先是最大的变化。总分布使里程碑达到50%几率的年份分别用实心圆、空心圆和实心正方形表示任务、职业和一般人类水平表现。这三组问题有不同的形式，也可能影响答案。
根据调查的结果，人工智能研究人员对人工智能进展的预测有以下几个特点：
人工智能研究人员对人工智能实现各种任务和水平的时间和概率的预测非常分散，表明他们对人工智能进展的不确定性很高，也反映了人工智能领域的多样性和复杂性。例如，对于人工智能实现人类水平的人工智能（HLMI）的时间的中位数预测，根据不同的提问方式，从2028年到2060年不等，而且有些受访者认为HLMI永远不可能实现，有些受访者认为HLMI已经实现或即将实现。
图片
图3：2022年至2023年间，高级机器智能（HLMI）第50百分位到达时间的总体预测下降了13年。同期，对劳动力全自动化（FAOL）第50百分位到达时间的预测下降了48年。然而，仍然存在许多不确定性。“聚合预测”
是所有个体累积分布函数的平均分布。为了进行比较，我们纳入了2022年综合预测。为了了解反应的范围，我们纳入了2023年和2022年个人预测的随机子集。请注意，2023年的“置信区间”较低（与2022年相比）是由于样本量较大，而不是受访者的预测趋同，我们对平均受访者的观点的信心增加。
人工智能研究人员对人工智能进展的预测普遍提前了，与2022年的调查相比，他们对人工智能实现各种任务和水平的时间的预测平均提前了13到48年，而且有21个短期的人工智能任务的预测也提前了。这可能说明人工智能研究人员对人工智能的发展速度和能力有了更高的估计，也可能受到了近年来人工智能的技术和应用的突破和创新的影响。
人工智能研究人员对人工智能进展速度的偏好存在分歧，有些人认为更快更好，有些人认为更慢更好，但大幅偏离目前的速度的选择不太受欢迎。这可能表明人工智能研究人员对人工智能进展速度的影响有不同的看法和期待，也可能反映了他们对人工智能进展速度的控制和调节的需求和困难。
人工智能研究人员对人工智能进展的预测显示了他们对人工智能的未来的不确定性和多样性，也显示了他们对人工智能的进展速度的影响的关注和分歧。这些预测可以帮助我们了解人工智能的发展趋势和可能性，也可以为我们制定人工智能的发展和利用的策略和方法提供一些参考和依据。
02 人工智能影响的评估：对人类社会的好坏结果的可能性
人工智能的影响是人工智能系统对人类社会的各个方面的作用和改变，包括经济、政治、文化、教育、健康、环境、安全、道德等。人工智能的影响可以是好的，也可以是坏的，也可以是中性的，取决于人工智能的设计、应用、管理和监督等多个因素。人工智能的影响也可以是短期的，也可以是长期的，也可以是持续的，取决于人工智能的发展速度、范围、水平和目标等多个因素。人工智能的影响是影响人工智能的未来的另一个重要因素，它决定了人工智能对人类社会的利益和价值的分配和平衡，以及人类对人工智能的态度和反馈。
在调查中，人工智能研究人员被问及了他们对人工智能影响的评估，包括人工智能对人类社会的好坏结果的可能性，以及人工智能带来的各种风险和挑战的关注程度。这些好坏结果和风险挑战包括：
人工智能的极端好结果，如人类幸福的大幅提高、人类社会的和平与繁荣、人类的智能与能力的提升等。
人工智能的极端坏结果，如人类灭绝或类似的永久严重的人类劣势、人类的智能与能力的丧失或削弱、人类的价值与尊严的损害等。
人工智能带来的11个可能引起关注的情景，如虚假信息的传播、公众舆论的操纵、危险团体制造强大工具、专制统治者利用人工智能控制人口、人工智能系统加剧经济不平等、人工智能系统加剧社会不公、人工智能系统威胁人类的隐私和安全、人工智能系统威胁人类的自由和权利、人工智能系统威胁人类的道德和责任、人工智能系统威胁人类的创造力和多样性、人工智能系统威胁人类的意义和目的等。
对于这些好坏结果和风险挑战，人工智能研究人员被要求给出他们认为它们发生的概率和关注程度的评估，使用百分比和等级的方式。这些评估的目的是为了探究人工智能研究人员对人工智能影响的态度和看法，以及他们对人工智能影响的重要性和紧迫性的认识。
人工智能进步的原因是什么？
他们询问了人工智能能力的进展对五个输入变化的敏感性：1）研究人员的努力，2）计算成本的下降，3）增加训练数据集的规模和可用性的努力，4）资金，以及5）人工智能算法的进展。他们让受访者想象一下，在过去十年中，每种投入只有一半可用，2以及他们预计这会对人工智能进步速度产生的影响。结果如图所示。
图片
图4：如果在过去十年中投入减半，人工智能进展的估计减少。红点表示平均值。方框包含第25至75百分位范围；中间线是中间线。晶须是最小值和最大值，不超过中值四分位间距的1.5倍。参与者估计，在过去十年中，将计算成本下降减半对人工智能进步的影响最大，而将计算成本减半，“研究人员的努力”和“人工智能算法的进步”的影响最小。总体而言，所有纳入的投入都被视为对人工智能的进步做出了重大贡献。
根据调查的结果，人工智能研究人员对人工智能影响的评估有以下几个特点：
人工智能研究人员对人工智能影响的评估非常多样，表明他们对人工智能的利益和价值有不同的观点和期待，也反映了人工智能的社会影响的复杂性和不确定性。例如，对于人工智能带来的极端好结果的概率的中位数预测，从5%到50%不等，而且有些受访者认为极端好结果是不可能的，有些受访者认为极端好结果是非常可能的。
人工智能研究人员对人工智能影响的评估普遍偏向于乐观，与2022年的调查相比，他们对人工智能带来的极端好结果的概率的预测平均提高了5个百分点，而且有68.3%的受访者认为好结果比坏结果更有可能，而且有57.8%的受访者认为极端坏结果（如人类灭绝）是有一定可能性的。这可能说明人工智能研究人员对人工智能的发展和利用有了更多的信心和期望，也可能受到了近年来人工智能的技术和应用的积极和正面的影响。
人工智能研究人员对人工智能影响的评估非常关注，对于所有的11个可能引起关注的人工智能情景，都有超过30%的受访者认为它们值得大量或极大的关注，而且有86%的受访者认为虚假信息的传播是最令人担忧的情景，其次是公众舆论的操纵、危险团体制造强大工具、专制统治者利用人工智能控制人口和人工智能系统加剧经济不平等等。这可能表明人工智能研究人员对人工智能的风险和挑战有了更多的认识和警惕，也可能反映了他们对人工智能的发展和利用的责任和担忧。
会有智能爆发吗？
他们向受访者询问了假设实现HLMI后“智能爆发”的可能性，如本问题所述：
一些人提出以下观点：
如果人工智能系统几乎完成所有的研发，人工智能的改进将加快技术进步的步伐，包括人工智能的进一步进步。
在短时间内（不到5年），这种反馈回路可能会使技术进步加快一个数量级以上。
你认为这个论点大致正确的可能性有多大？
第一个问题的结果如图5所示。
图片
图5：自2016年以来，大多数受访者认为，在实现HLMI的5年内，技术进步“很可能”、“可能”或“几乎均等的机会”会加快一个数量级以上。
人工智能研究人员对人工智能影响的评估显示了他们对人工智能的未来的多样性和关注性，也显示了他们对人工智能的利益和价值的看法和期待。这些评估可以帮助我们了解人工智能的社会影响和风险挑战，也可以为我们制定人工智能的发展和利用的目标和标准提供一些参考和依据。
03 人工智能安全：安全研究的定义、优先级、价值和难度
人工智能的安全指人工智能系统的设计、应用、管理和监督等过程中，保证人工智能系统不会对人类社会造成伤害或威胁的能力和措施。人工智能的安全涉及到人工智能系统的可靠性、鲁棒性、可解释性、可控制性、可信任性、可协作性、可适应性、可伦理性等多个方面。人工智能的安全是影响人工智能的未来的又一个重要因素，它决定了人工智能系统与人类社会的关系和协调，以及人类对人工智能系统的信任和接受。
在调查中，人工智能研究人员被问及了他们对人工智能安全的看法，包括人工智能安全研究的定义、优先级、价值和难度，以及人工智能对齐问题的重要性和困难性。这些问题的目的是为了探究人工智能研究人员对人工智能安全的认识和态度，以及他们对人工智能安全的投入和贡献。
人工智能导致人类灭绝的可能性有多大？
为了进一步澄清对总体影响问题中“极其糟糕（如人类灭绝）”情景的看法，参与者被问及关于人类灭绝的三个类似问题之一。他们的差异旨在帮助准确地隔离不同场景的关注程度、受访者预期会发生什么以及工作的差异有多大。
这些问题的答案基本一致，中位数为5%或10%。这些也接近于长期影响的一般价值问题的答案，这可能表明该问题的大部分“极其糟糕（例如人类灭绝）”答案来自人类灭绝或类似的人类物种永久性和严重的权力丧失，而不是该问题的回答者可能已经考虑到的其他结果，但这不会那么严重。
根据提问方式，41.2%至51.4%的受访者估计人类灭绝或严重丧失权力的可能性超过10%（见图6）。这与38%的受访者在提问“高级机器智能对人类有多好或有多坏？”时将至少10%的人认为“极其糟糕”的结果“（例如人类灭绝）”的比例相当，但略高于此比例。
图片
图6：对HLMI的极坏结果（如人类灭绝）或三个特别是关于人类灭绝或丧失权力的问题给出10%或更高概率的参与者百分比。
根据调查的结果，人工智能研究人员对人工智能安全的看法有以下几个特点：
人工智能研究人员对人工智能安全研究的定义非常一致，他们普遍认同了人工智能安全研究是指那些主要旨在降低人工智能系统的潜在风险，而不是主要旨在提高人工智能系统的能力的研究，而且他们给出了一些具体的人工智能安全研究的例子，如可解释的机器学习、长期的人工智能存在风险、人工智能的形式化验证、人工智能的公共利益政策等。
人工智能研究人员对人工智能安全研究的优先级非常高，他们普遍认为人工智能安全研究应该比目前更受重视，而且有70%的受访者认为人工智能安全研究应该被优先或大幅优先，而且这一比例与2022年的调查相比只有轻微的增加，表明人工智能研究人员对人工智能安全研究的重视程度一直很高。
人工智能研究人员对人工智能安全研究的价值非常认可，他们普遍认为人工智能安全研究与其他人工智能研究一样有价值或更有价值，而且有57%的受访者认为人工智能安全研究比其他人工智能研究更有价值或多得多的价值，而且这一比例与2022年的调查相比有显著的增加，表明人工智能研究人员对人工智能安全研究的价值认识有了提高。
人工智能研究人员对人工智能安全研究的难度非常清楚，他们普遍认为人工智能安全研究比其他人工智能研究更难或多得多的难，而且有57%的受访者认为人工智能安全研究比其他人工智能研究更难或多得多的难，而且这一比例与2022年的调查相比没有显著的变化，表明人工智能研究人员对人工智能安全研究的难度认识一直很高。
人工智能研究人员对人工智能对齐问题的重要性和困难性非常认同，他们普遍认为人工智能对齐问题是一个非常重要且非常困难的问题，而且有54%的受访者认为人工智能对齐问题是人工智能领域最重要或最困难的问题之一，而且这一比例与2022年的调查相比有所增加，表明人工智能研究人员对人工智能对齐问题的关注和重视有了提高。
对齐问题的价值和难度有多大？
调查中第二组人工智能安全问题是基于斯图尔特·拉塞尔对对齐问题的表述。
这组问题从罗素的论点摘要开始——该论点声称，使用先进的人工智能，“你得到的正是你想要的，而不是你想要的”——然后问道：
1.你认为这个论点指向一个重要问题吗？
2.与人工智能中的其他问题相比，今天研究这个问题有多大价值？
3.与人工智能中的其他问题相比，你认为这个问题有多难？
大多数受访者表示，对齐问题要么是“非常重要的问题”（41%），要么是“该领域最重要的问题之一”（13%），大多数人表示，它比人工智能中的其他问题“更难”（36%）或“困难得多”（21%）。然而，受访者普遍不认为今天解决对齐问题比解决其他问题更有价值。（图7）
图片
图7：对斯图尔特·拉塞尔提出的路线问题的态度。与会者认为，对齐问题既重要又困难，但并不比其他问题更有价值。
人工智能研究人员对人工智能安全的看法显示了他们对人工智能安全的认识和态度，也显示了他们对人工智能安全的投入和贡献。这些看法可以帮助我们了解人工智能安全的定义和范围，也可以为我们制定人工智能安全的研究和实践提供一些参考和依据。
04 人工智能风险的关注：对人工智能的误解和偏见的看法
人工智能风险指人工智能系统对人类社会造成的潜在的或实际的伤害或威胁，包括人工智能系统的失控、误用、滥用、攻击、竞争、冲突、歧视、剥夺、破坏等。人工智能风险是影响人工智能的未来的最后一个重要因素，它决定了人类对人工智能的防范和应对的能力和措施，以及人类对人工智能的信心和态度。
在调查中，人工智能研究人员被问及了他们对其他人对人工智能风险的关注的评价，包括他们对其他人工智能研究人员、其他科学家、政府和公众对人工智能风险的关注程度的看法，以及他们对其他人对人工智能的误解和偏见的看法。这些问题的目的是为了探究人工智能研究人员对人工智能风险的认知和沟通，以及他们对人工智能风险的共识和协作。
根据调查的结果，人工智能研究人员对其他人对人工智能风险的关注的评价有以下几个特点：
人工智能研究人员对其他人工智能研究人员对人工智能风险的关注程度非常满意，他们普遍认为其他人工智能研究人员对人工智能风险的关注程度是合适的或稍微不足的，而且有74%的受访者认为其他人工智能研究人员对人工智能风险的关注程度是合适的或稍微不足的，而且这一比例与2022年的调查相比有所增加，表明人工智能研究人员对人工智能风险的关注程度有了一定的提高和一致性。
人工智能研究人员对其他科学家对人工智能风险的关注程度非常不满意，他们普遍认为其他科学家对人工智能风险的关注程度是不足的或严重不足的，而且有79%的受访者认为其他科学家对人工智能风险的关注程度是不足的或严重不足的，而且这一比例与2022年的调查相比没有显著的变化，表明人工智能研究人员对其他科学家对人工智能风险的关注程度一直很低和不满。
人工智能研究人员对政府对人工智能风险的关注程度非常不满意，他们普遍认为政府对人工智能风险的关注程度是不足的或严重不足的，而且有84%的受访者认为政府对人工智能风险的关注程度是不足的或严重不足的，而且这一比例与2022年的调查相比没有显著的变化，表明人工智能研究人员对政府对人工智能风险的关注程度一直很低和不满。
人工智能研究人员对公众对人工智能风险的关注程度非常不满意，他们普遍认为公众对人工智能风险的关注程度是过度的或严重过度的，而且有67%的受访者认为公众对人工智能风险的关注程度是过度的或严重过度的，而且这一比例与2022年的调查相比有所增加，表明人工智能研究人员对公众对人工智能风险的关注程度有了更多的不满和不信任。
人工智能研究人员对其他人对人工智能的误解和偏见非常清楚，他们普遍认为其他人对人工智能的误解和偏见是普遍的或非常普遍的，而且有86%的受访者认为其他人对人工智能的误解和偏见是普遍的或非常普遍的，而且这一比例与2022年的调查相比没有显著的变化，表明人工智能研究人员对其他人对人工智能的误解和偏见一直很高和清楚。
预测很难，即使对专家来说也是如此
一般来说预测也很困难，而且据观察，主题专家的表现很差。我们的参与者的专业知识是人工智能，据我们所知，他们在一般预测方面没有任何不同寻常的技能。
这项研究和过去的调查表明，这些专家并不是我们所问问题的准确预测者。首先，在许多问题上，不同的受访者给出了截然不同的答案，这限制了他们接近真相的人数。尽管如此，在其他情况下，一大组有噪声的预测的平均值仍然相对准确，因此这些综合预测的信息量仍然存在问题。
另一个证明预测准确性的证据是对实质性框架效应的观察。如果问题框架中看似不重要的变化导致回答的巨大变化，这表明即使是对任何特定问题的综合回答也不是答案的准确指南。在一项密切相关的研究中的一个极端例子中，Karger等人发现，当被问及以不同的方式估计人工智能存在风险的大小时，大学毕业生给出的答案相差近六个数量级：当给出低概率事件的例子几率时，估计值要低得多。类似的影响可能会在一定程度上适用于我们的参与者，尽管他们的专业知识和定量培训可能会减轻这种影响。过去对人工智能风险思考更多的参与者似乎给出了更高的数字，这表明他们不太可能在进一步的风险示例中给出更低的数字。
尽管存在这些限制，人工智能研究人员仍有能力为我们对未来的集体猜测的准确性做出贡献。虽然不可靠，但有根据的猜测是我们所有人都必须依赖的，他们的猜测是由相关领域的专业知识提供的。这些预测应该是来自计算机硬件趋势、人工智能能力进步、经济分析和预测专家见解等来源的更广泛证据的一部分。然而，人工智能研究人员对相关技术的熟悉程度，以及对其进展动态的经验，使他们成为最有能力做出有信息依据的猜测的人之一。
人工智能研究人员对其他人对人工智能风险的关注的评价显示了他们对人工智能风险的认知和沟通，也显示了他们对人工智能风险的共识和协作。这些评价可以帮助我们了解人工智能风险的认知和关注的差异和障碍，也可以为我们制定人工智能风险的防范和应对的合作和对话提供一些参考和依据。
