文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

为什么 Python 打包需要缓存 numpy?

2023-10-26 23:18

关注

Python 是一门广泛使用的编程语言,在科学计算领域中,Python 也有着广泛的应用。其中,NumPy 库是 Python 中用于科学计算的一个重要库,它提供了多维数组对象、数学函数以及线性代数等功能,被广泛应用于数据分析、机器学习、图像处理等领域。

然而,在使用 Python 进行打包时,我们可能会发现一个奇怪的现象:每一次打包都需要重新编译 NumPy。这是为什么呢?本文将为你详细解答这个问题。

在 Python 中,打包通常是通过 setuptools 库来实现的。当我们使用 setuptools 将 Python 代码打包成一个可执行文件时,它会将代码和依赖项打包成一个 zip 文件,并在运行时将其解压缩到临时目录中。这样做的好处是,我们可以将我们的代码分发给其他人,让他们可以在不安装任何依赖项的情况下运行我们的程序。

然而,由于 NumPy 库中存在 C 代码,它需要编译成动态链接库才能被 Python 调用。因此,每一次打包时都需要重新编译 NumPy,这会导致打包时间变长,并且可能会出现编译错误。

为了解决这个问题,setuptools 提供了一个名为 setuptools-scm 的插件。它可以在打包时缓存 NumPy 的编译结果,并在下一次打包时直接使用缓存结果,从而避免了重新编译 NumPy 的过程。下面是一个简单的示例:

首先,我们需要安装 setuptools-scm:

pip install setuptools_scm

然后,在 setup.py 文件中添加以下代码:

from setuptools import setup
setup(
    # ... other arguments ...
    setup_requires=["setuptools_scm"],
    use_scm_version={"fallback_version": "0.1"}
)

在运行 python setup.py sdist 命令时,setuptools-scm 会自动缓存 NumPy 的编译结果,并在下一次打包时直接使用缓存结果,从而大大减少了打包时间。

需要注意的是,由于 setuptools-scm 使用了 Git 来缓存 NumPy 的编译结果,因此需要将 NumPy 的源代码添加到 Git 仓库中。如果你使用的是其他版本控制系统,可以使用其他类似的插件来实现相同的效果。

总之,Python 打包需要缓存 NumPy 的原因是因为 NumPy 中存在 C 代码需要编译成动态链接库。通过使用 setuptools-scm 插件,我们可以将编译结果缓存起来,在下一次打包时直接使用缓存结果,从而避免了重新编译 NumPy 的过程,提高了打包效率。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯