文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

昇腾大模型推理解决方案正式发布暨五大场景优秀实践,加速人工智能走深向实

2024-11-29 21:21

关注

昇腾大模型推理解决方案正式发布暨五大场景优秀实践

为更好地匹配大模型的推理需求,华为基于昇腾AI基础软硬件,向业界提供使能推理应用快速开发、高效部署的大模型推理解决方案。该解决方案可通过启发式并行解码等系列化推理加速技术,实现应用吞吐最高6倍提升,满足业务SLO的同时,释放极致吞吐性能,让单位吞吐的成本更优。同时,既提供昇腾原生服务化能力,也支持对vLLM、TGI等三方服务框架的快速适配,实现应用天级上线,在满足模型表现的同时,通过极简服务适配,让业务上线时间更短。除此之外,为多机推理提供了完整的弹性推理软件栈,在满足TCO要求的同时,支持灵活弹性扩容,让推理系统面向大模型未来趋势具备更强的演进能力。以此,帮助伙伴和客户打造更贴合场景需求的推理系统。

华为携手业界伙伴和客户不断创新,加速大模型应用落地到场景。会上,华为联合京东、科大讯飞、中国移动、中电信、WPS AI、中国联通、哔哩哔哩、商汤科技、生数科技、华为小艺、华为流程IT等11家生态伙伴及客户发布了基于昇腾大模型推理解决方案的五大场景优秀实践,共同见证人工智能大模型在“文本生成、文生视图、辅助编程、终端应用、智能办公/客服”等五大场景应用启航的历史时刻。

大模型只有与应用场景相结合才能发挥最大的价值,五大场景优秀实践的发布是昇腾大模型解决方案与业界伙伴、客户的模型应用在大模型落地行业场景道路上走出的坚实一步,将为这些场景在提升工作效率、改善服务质量、推动创新发展方面提供助力,也为更多场景下的大模型应用提供了有益参考。

未来,华为将继续携手伙伴基于昇腾AI进行大模型落地实践的联合创新,加速AI走深向实,助力经济和社会发展。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯