文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

出色代码成就机器学习:数据科学的软件工程技巧和优秀实践

2024-12-10 16:09

关注

如果你对数据科学感兴趣,那么可能对这个工作流程很熟悉:通过运行Jupyter notebook开启一个项目,然后开始编写python代码、运行复杂的分析甚至训练模型。随着notebook文件的函数、类、图和日志的大小不断增长,你会发现自己面前堆积了巨大的一团代码块。运气好的话,一切都能顺利进行。那你真的很厉害!

[[344175]]

但是,Jupyter notebook隐藏了一些严重的陷阱,可能会让代码变成噩梦。让我们看看这是如何发生的,然后讨论一下防止这种情况出现的优秀编码方法。

 

Jupyter Notebook的问题

通常,如果你想使Jupyter原型开发更上一层楼,事情结果可能会不符合你的预期。这是笔者在使用此工具时遇到的一些情况,你应该也很熟悉:

因此,团队协作变得低效笨拙:团队成员开始通过电子邮件或Slack交换代码段和笔记本,回滚到以前的代码版本成为一场噩梦,文件组织开始变得混乱。这是在没有正确版本控制的情况下, 使用Jupyter notebook两到三周后,我在项目中通常看到的内容:

 

  1. analysis.ipynb 
  2. analysis_COPY(1).ipynb 
  3. analysis_COPY(2).ipynb 
  4. analysis_FINAL.ipynb 
  5. analysis_FINAL_2.ipynb 

Jupyter notebook非常适合探索和快速制作原型。它们肯定不是为可重用性或生产用途而设计的。如果你使用Jupyter notebook开发了数据处理管道,那么最好的情况是代码仅按照单元执行顺序以线性同步方式在笔记本电脑或VM上运行。

但这并没有说明你的代码在更复杂的环境中的行为方式,例如,较大的输入数据集,其他异步并行任务或分配较少的资源。实际上我们很难测试笔记本,因为它们的行为有时是不可预测的。

好了,抱怨到此为止。笔者真的很喜欢Jupyter,认为它对设计工作非常有用。你肯定可以用它来引导小项目或快速创建想法原型,但你必须遵循软件工程的原则。当数据科学家使用notebook时,有时会忽略这些原则,让我们一起回顾下其中一些吧。

 

让代码再次出色的小技巧

这些技巧是从不同的项目、笔者参加的聚会以及过去合作过的软件工程师和架构师的讨论中汇编而来的。注意,以下内容皆假设我们正在编写python脚本,而不是notebook。

1.清理代码

  

代码质量最重要的维度是清晰,清晰易读的代码对于协作和可维护性至关重要。这样做可以帮你获得更简洁的代码:

  1. not good ... 
  2. import pandas as pd 
  3. df = pd.read_csv(path)# better!transactions = pd.read_csv(path) 
  1. not good ... 
  2. optimizer = SGD(0.0045, momentum=True)# better ! 
  3. learning_rate = 0.0045 
  4. optimizer = SGD(learning_rate, momentum=True

 [[344176]]

2.使代码模块化

当你开始构建可以在相同或其他项目中重复使用的东西时,你必须将代码组织为逻辑功能和模块,这有助于构建更好的组织和可维护性。

例如,你正在研究NLP项目,并且你可能具有不同的处理功能来处理文本数据(标记,剥离URL,修饰词等)。你可以将所有这些单元放入名为text_processing.py的python模块中,然后从中导入它们,主程序将更轻巧。

这是有关编写模块化代码的一些技巧:

3.重构代码

重构旨在重新组织代码的内部结构,而不改变其功能,通常是在有效(但仍未完全组织)的代码版本上完成的。它有助于消除重复功能,重组文件结构,并添加更多抽象。

4.提高代码效率

编写高效的代码以快速执行并消耗更少的内存和存储空间,是软件开发中的另一项重要技能。编写高效的代码需要多年的经验,但是以下一些小技巧可以帮助你确定代码是否运行缓慢以及如何提高代码运行速度:

5.使用GIT或任何其他版本控制系统

使用GIT + Github帮助我提高了编码技能,更好地组织了项目。由于我是在与朋友和同事合作时使用它的,所以我遵守了过去不遵守的标准。

[[344177]]

无论是在数据科学还是软件开发中,使用版本控制系统都有很多好处。

6.测试代码

如果你要构建一个执行一系列操作的数据管道,且要确保它能够按照设计的目的执行,其中一种方法是编写可检查预期行为的测试。测试可以像检查函数的输出形状或期望值一样简单。

 

为功能和模块编写测试有很多好处:

7.使用日志记录

一旦代码的第一个版本运行了,你需要监察每个步骤,以了解发生了什么、跟踪进度或发现错误,你可以使用日志记录。以下是有效使用日志记录的一些技巧:

  1. import logging 
  2. logging.basicConfig(filename='example.log',level=logging.DEBUG) 
  3. logging.debug('This message should go to the log file'
  4. logging.info('So should this'
  5. logging.warning('And this, too'

告别代码噩梦,这些小技巧要学起来。

 

 

来源:读芯术内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯