文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

利用Numba与Cython结合提升python运行效率详解

2024-04-02 19:55

关注

Numba

Numba是一个即时(JIT)编译器,它将Python代码转换为用于CPU和GPU的本地机器指令。代码可以在导入时、运行时或提前编译。

通过使用jit装饰器,使用Numba非常容易:

Numba和Cython如何加速Python代码

image.png

正如你所知道的,在Python中,所有代码块都被编译成字节码:

image.png

代码优化

为了优化Python代码,Numba从提供的函数中提取一个字节码,并在其上运行一组分析器。Python字节码包含一系列小而简单的指令,因此不必从Python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段,但Numba将Python字节码转换为LLVM中间表示 (IR)。

请注意,LLVM IR是一种低级编程语言,它类似于汇编语法,与Python无关。

Numba 模式

Numba中有两种模式:nopython 和 object。前者不使用Python运行时并且在没有Python依赖项的情况下生成本机代码。 本机代码是静态类型的,运行非常快。而对象模式使用Python对象和Python C API,这通常不会带来显著的速度改进。在这两种情况下,Python代码都是使用LLVM编译的。

什么是LLVM?

LLVM是一种编译器,它采用代码的特殊中间表示(IR),并将其编译成本机代码。编译过程涉及许多额外的传递,其中编译器优化IR。LLVM工具链很好地优化了IR,不仅为Numba编译代码,而且优化Numba。整个系统大致如下:

Numba和Cython如何加速Python代码

Python numba 体系结构

Numba的优势:

Numba的劣势:

多层的抽象使得调试和优化变得非常困难

在nopython模式下无法与Python及其模块进行交互

有限的类支持

Cython

取代分析字节码和生成IR,Cython使用Python语法的超集,它后来转换成C代码。在使用Cython时,基本上是用高级Python语法编写C代码。

在Cython中,通常不必担心Python包装器和低级API调用,因为所有交互都会自动扩展到合适的C代码。

与Numba不同,所有的Cython代码应该在专门文件中与常规Python代码分开。Cython将这些文件解析并转换成C代码,然后使用提供的C编译器 (例如, gcc)编译它。

Python代码已经是有效的Cython代码。

Numba和Cython如何加速Python代码

但是,类型版本工作得更快。

Numba和Cython如何加速Python代码

Numba和Cython如何加速Python代码

编写快速Cython代码需要理解C和Python内部结构。如果你熟悉C,你的Cython代码可以运行得和C代码一样快。

Cython的优势:

Cython的劣势:

Numba 对 Cython

就个人而言,我更喜欢小项目和ETL实验用Numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为C库编写包装器,我将使用Cython,因为它提供更多的控制和更容易调试。

此外,Cython是许多库的标准,如pandas、scikit-learn、scipy、Spacy、gensim和lxml。

以上就是利用Numba与Cython结合提升python运行效率详解的详细内容,更多关于提升python运行效率的资料请关注编程网其它相关文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯