文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

只需要这一行代码就能让python计算速度提高十倍

2024-04-02 19:55

关注

一、前言

Python语言近年来人气爆棚。它广泛应用于数据科学,人工智能,以及网络安全问题中,由于代码可读性较强,学习效率较高,吸引了许多非科班的同学进行学习。然而,使用Python一段时间以后,发现它在速度上完全没有优势可言,特别是计算密集型任务里,性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

首先要回答这样一个问题:当运行同一个程序时,为什么Python会 比其他语言慢2到10倍?为什么我们无法将它变得更快?

以下是最主要的原因:

由于本文的着重点并不是解释Python速度慢的原因以及背后的逻辑,这部分就不深入探讨了,欢迎有兴趣的同学自行搜索🔍

二、Python的JIT编译器

为了兼具移植性和性能,聪明的工程师们发明了 JIT 这个东西,所谓的 JIT 就是说在解释型语言中,对于经常用到的或者说有较大性能提升的代码在解释的时候编译成机器码,其他一次性或者说没有太大性能提升的代码还是以字节码的方式执行。这样的话,就能在保证移植性的同时,又能让性能提升一大截,

JIT编译在代码运行时动态将Python代码编译为机器代码执行,由于避免了Python内置的解释器,运行速度会有很大提升。比较流行的JIT方案是Numba和Pypy,但由于Python的历史包袱和语法变化等原因,没有一个能够完美实现的方案。方案各自存在不同的优缺点,需要在根据使用领域选择合适的方案。

在这里插入图片描述 

三、Numba快速学习

我们主要介绍Numba的基本用法,能够在对代码侵入最少的情况下,极大加速计算核心函数的运行速度,适合数据分析业务相关的同学使用。

Numba通过使用LLVM技术,将Python代码编译生成优化后的机器码,可以大幅提高代码执行效率。

对于Numba的学习,纽约大学提供了一套入门级别的视频,代码简单,纽约大学Numba快速学习,如果想要浏览中文文章欢迎继续往下看!

关于安装

首先是安装numba,根据python环境,运行不同的安装命令:


conda install numba
pip install numba

四、关于使用

一句话总结:使用Numba最简单的方式就是在函数定义前加@jit 或 @njit的装饰即可。

Numba通过在函数定义前加decorator(修饰符)来申明是否进行加速。如上文所说,最简单的使用方法是@jit。对于Numba的@jit有两种编译模式:nopython和object模式。

nopython模式会完全编译这个被修饰的函数,函数的运行与Python解释器完全无关,不会调用Python的C语言API。如果想获得最佳性能,推荐使用此种模式。同时由于@jit(nopython=True)太常用了,Numba提供了@njit修饰符,和这句话等价,方便使用。但这种模式要求函数中所有变量的类型都可以被编译器推导(一些基本类型,如不能是一些库或自己定义的数据类型等),否则就会报错。

object模式中编译器会自动识别函数中循环语句等可以编译加速的代码部分,并编译成机器码,对于剩下不能识别的部分交给Python解释器运行。如果想获取最佳性能,避免使用这种方法(For best performance avoid using this mode!)。

如果没设置参数nopython=True,Numba首先会尝试使用nopython模式,如果因为某些原因无法使用,则会使用object模式。加了nopython后则会强制编译器使用nopython模式,但如果代码出现了不能自动推导的类型,有报错的风险。

五、实验提升


from numba import jit
import random, time

def monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

@jit
def jit_monte_carlo_pi(sam):
    account = 0
    for i in range(sam):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            account += 1
    return 4.0 * account / sam

loops = [100000, 1000000, 10000000, 100000000, 1000000000]

for loop in loops:
	startTime = time.time()
	monte_carlo_pi(loop)
	t = time.time() - startTime
	print('python {} loop: {}'.format(loop, t))

	startTime = time.time()
	jit_monte_carlo_pi(loop)
	t = time.time() - startTime
	print('numba {} loop: {}'.format(loop, t))

对于以上代码,运行的结果是:
python 100000    loop: 0.0469999313354
numba  100000    loop: 0.213999986649
python 1000000   loop: 0.478999853134
numba  1000000   loop: 0.0110001564026
python 10000000  loop: 4.82499980927
numba  10000000  loop: 0.107000112534
python 100000000 loop: 48.728000164
numba  100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba  1000000000 loop: 11.01402001452

可以看到,jit编译后有约47倍的提升。循环次数越多,numba的加速效果就越明显。对于更复杂的计算函数,numba可能会有更好的效果。

到此这篇关于只需要这一行代码就能让python计算速度提高十倍的文章就介绍到这了,更多相关提高python计算速度内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯