文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

现代机器学习工具

2024-12-11 21:22

关注

数据科学的发展日新月异,机器学习的角色正从数据科学的混合角色过渡到更多的工程或面向分析的角色,通常称为A型和B型数据科学家。

[[329877]]

一些变化正在促成这些变化:

换模

这种变化的环境导致数据科学家使用的工具发生了变化。 这种发展促使数据科学家朝着利用云,自动化,可解释性和可重复过程的方向发展。

基于云的ML

向云和Kubernetes的迁移已逐渐发生,从而推动了机器学习工程师对更多DevOps或数据操作功能的需求。

人们对深度学习的兴趣日益浓厚,特别是Keras帮助使该学科民主化,这一举动更加突出了这一点。 深度学习可能特别需要资源。 它的利用率随工作负载的变化而变化,这迫使Tensorflow执行器在K8S上运行,从而支持对更弹性和可扩展的基础架构的需求

 

 

> SageMarker's web interface

促成此举的另一个因素是ML在生产中的重要性日益提高。 反过来,这种转变又增加了原型栈与生产之间紧密结合的需求,并借助各种Saas云产品(例如AWs sageMaker / Google Cloud ML Engine)……这些工具提供了诸如模型部署和API配置之类的功能,从而简化了流程 将模型推向生产的过程。

AutoML和机器学习工作流程

具有生产型机器学习系统的重要性的提高反过来加速了从培训到部署的整个机器学习价值链对自动化的需求。 自动化允许更快地迭代和改进模型。

AutoML提供了围绕模型训练过程的自动化层,可处理其某些重复性任务。 它可以处理诸如超参数优化,功能和模型选择之类的任务。 Tpot或AutoKeras等库以及大多数云提供商的ML产品现在都将AutoML作为其解决方案的一部分。

对自动化的需求也增加了对工具进行编排的不同部分的需求。 诸如Airflow,Kubeflow,MLFlow和MetaFlow之类的工作流工具是用于帮助实现这一目标的一些关键工具。 他们负责将整个机器学习过程作为一条流水线来处理,帮助协调从数据采集到模型服务的端到端流程。

可解释且可重现的ML

GDPR和其他法规已经影响了我们构建机器学习模型的方式。 他们推动了可解释和可复制的模型。

在可解释的方面,已经出现了一系列工具,可以帮助数据科学家更好地利用其模型。 这些工具评估不同的方案,分析变量如何互操作,并提供仪表板以帮助解释模型预测。 Whatiftool,Lime,SHAP和Manifold是为应对这一挑战而引入的一些工具。

除了提供可靠的方法来调试模型的优点外,可重复性是受法规影响的另一个方面。 总有可能使用工作流工具创建可重现的机器学习管道。 尽管如此,仍出现了一些特定的工具来简化该过程。

 

 

> Screenshot of Weight & Biases interface

DVC,Dolt,Weight and Biases(WANDB)和Dags Hub是一些专用工具,这些工具以可重现的方式使构建模型更简单。 DVC负责模型和数据集的版本控制,而Dolt严格限于数据集本身。 WANDB和Dags Hub则专注于跟踪模型构建/训练的权重和结果。

摘要

机器学习工具已经从仅仅能够利用一些预测库和Jupyter笔记本发生了很大的变化。 如今,进行数据科学需要掌握更广泛的工具集,其中包括云库,工作流工具,解释和版本控制工具。 这种增加的工具应有助于数据科学从其某些研究形象转移到更多的工程或业务功能上。

我提供的有关Hacking Analytics的更多信息:

 

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯