文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

人工智对于电力有巨大需求

懒人小魔法师

懒人小魔法师

2024-04-23 23:56

关注

为什么人工智对于电力有巨大需求?中国人工智能发展迅猛,中国政府也高度重视人工智能领域的发展。预计到2020年,中国人工智能产业规模将超过1500亿元,带动相关产业规模超过1万亿元。2017年全球新兴人工智能项目中,中国占据51%,数量上已经超越美国。但全球人工智能人才储备,中国却只有5%左右,人工智能的人才缺口超过500万。

当今的人工智能(AI)系统离复制真正的人类智能还很远。但是,他们在识别数据模式和挖掘见解方面肯定会做得更好,在某种程度上要比我们更好。目前,人工智能模型可以识别图像,通过聊天机器人与人交谈,驾驶自动驾驶汽车,甚至在国际象棋中赢得了我们的青睐。但是,您知道吗,训练和构建这些模型所涉及的能源和功耗非常惊人?换句话说,训练人工智能是高碳足迹的高能耗过程。

人工智对于电力有巨大需求_室内设计_动画制作_小程序_编程学习网

因此,减少这种能源消耗将对环境产生积极的连锁影响。此外,它还将为企业带来其他好处,例如减少其碳足迹并更接近与碳有关的目标。在继续建设节能人工智能或绿色人工智能之前,我们必须了解为什么人工智能如此耗电?

训练神经网络

以一个神经网络模型为例。神经网络是一种强大的机器学习类型,它通过镜像人脑来进行自我建模。由节点层组成的神经网络试图通过模仿人的大脑功能来识别数据集中的潜在关系。每个节点相互连接,并具有关联的权重和阈值。假设节点的输出值高于指定的阈值,则表明该节点已激活并准备将数据中继到神经网络的下一层。

神经网络的训练包括运行前向通过,其中输入通过它,并在处理输入后生成输出。然后,后向遍历涉及使用前向遍历中接收的错误,通过需要大量矩阵操纵的梯度下降算法来更新神经网络的权重。

2019年6月,来自马萨诸塞州大学阿默斯特分校的一组研究人员发表了一篇关于他们的研究的论文,他们在其中评估了训练四个大型神经网络所需的能源消耗。这些神经网络包括:Transformer、ELMo、BERT和GPT-2,它们分别在单个GPU上进行了一天的训练,并测量了整个过程的能耗。

这些神经网络之一,即BERT使用了来自英语书籍和维基百科文章的33亿个单词。根据KateSaenko的《对话》一文,BERT在训练阶段不得不读取大约40次此庞大的数据集。为了进行比较分析,她提到一个五岁的普通孩子学会说话,到这个年龄可能会听到4500万个单词,比BERT少3000倍。

在马萨诸塞大学阿默斯特分校的研究中,研究人员发现,对BERT进行训练曾经使一名乘客在纽约和旧金山之间往返旅行时产生了碳足迹。该团队通过将该数字乘以每个模型的原始开发人员报告的总训练时,间来计算出训练每个模型的总功耗。碳足迹是根据美国电力生产中使用的平均碳排放量计算的。

实验研究还包括培训和开发称为神经建筑搜索的调整过程。该技术涉及通过耗费大量精力的反复试验过程使神经网络的设计自动化。此额外的调整步骤用于提高BERT的最终精度,估计产生了626,155吨的二氧化碳,大约等于五辆汽车的总寿命碳足迹。相比之下,美国人平均每年会产生18.078吨的二氧化碳排放量。

GPU饥饿

借助如今强大的GPU(图形处理单元),人工智能的发展成为可能。这些GPU通常会消耗大量电能。根据NVIDIA的说法,GPU耗散的最大功率等于250W,是IntelCPU的2.5倍。同时,研究人员认为拥有更大的人工智能模型可以带来更好的准确性和性能。这与游戏笔记本电脑的性能相似,尽管游戏笔记本电脑的功能比普通笔记本电脑高,但由于性能高而变得更快。如今,人们可以在几分钟内租用具有数十个CPU和强大GPU的在线服务器,并快速开发强大的人工智能模型。

根据位于旧金山的人工智能研究实验室OpenAI的研究,从机器学习发展的早期到2012年,该技术所需的计算资源数量每两年翻一番(这与摩尔的处理器能力增长定律相提并论)。但是,2012年之后,构建一流模型的计算能力轨迹平均每3.4个月翻一番。这意味着新的计算要求会转化为人工智能带来的负面环境影响。

现在,专家们还认为,构建大规模的人工智能模型并不一定意味着在性能和准确性方面会有更好的ROI。因此,公司可能必须在准确性和计算效率之间进行权衡。

尖峰神经网络

美国橡树岭国家实验室的一个研究小组之前已经展示了一种有前途的方法,可以通过将深度学习神经网络转换为尖峰神经网络(SNN)来提高人工智能能源效率。SNN复制了大脑的神经触发机制,因此具有大脑的许多功能,例如能量效率和时空数据处理。美国橡树岭国家实验室团队通过引入随机过程来加深深度加标神经网络(DSNN),该过程增加了诸如贝叶斯深度学习之类的随机值。贝叶斯深度学习是通过将随机值引入神经网络来模仿大脑如何处理信息的尝试。通过这一动作,研究人员可以知道在哪里执行必要的计算,从而降低能耗。

目前,SNN被吹捧为神经网络的下一个迭代,也是神经形态计算的基础。去年,荷兰国家数学和计算机科学国家研究中心(CWI)的研究人员以及荷兰埃因霍温的IMEC/Holst研究中心的研究人员已经成功开发了一种用于加标神经网络的学习算法。

以培养掌握人工智能理论与工程技术的专门人才为目标,学习机器学习的理论和方法、深度学习框架、工具与实践平台、自然语言处理技术、语音处理与识别技术、视觉智能处理技术、国际人工智能专业领域最前沿的理论方法,培养人工智能专业技能和素养,构建解决科研和实际工程问题的专业思维、专业方法和专业嗅觉。

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 资料下载
  • 历年真题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容
位置:首页-资讯-运维
咦!没有更多了?去看看其它编程学习网 内容吧