文章详情

短信预约信息系统项目管理师 报名、考试、查分时间动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python中gevent模块协程使用

2022-06-02 22:50

关注
目录

背景

因为 Python 线程的性能问题,在 Python 中使用多线程运行代码经常不能达到预期的效果。而实际开发中我们经常有高并发的需求,这就要求我们的代码在跑的更快的同时需要单位时间内执行更多的有效逻辑、减少无用的等待。

什么是协程?

我们可以认为线程是轻量级的进程,所以你也可以理解协程是轻量级的线程。协程即在一个线程执行 A 函数时可以随时中断去执行 B 函数,可以自由切换。但这个过程并不是函数调用,现象和多线程一样,实际上是一个线程。其中 gevent 是 Python 协程的一个经典实现。

什么是 gevent?

gevent 是 Python 的一个并发框架,基于 greenlet 实现,使用了 epoll 事件监听机制以及诸多其他优化而变得高效。其基本思想就是一个 greenlet 就是一个协程,当 greenlet 遇到 IO 操作时,比如访问网络,就会自动切换到其他的 greenlet,等待 IO 完成再切换回来继续执行。gevent 可以帮我们自动实现这个协程切换的过程。

协程的例子

代码:


import gevent,time

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 此处阻塞,gevent会帮我们切换到其他协程去↓
        gevent.sleep(0)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 此处阻塞,gevent会帮我们切换到其他协程去↑
        gevent.sleep(0)

# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果:

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4

如上,当 gevent 帮我们执行两个协程的时候,首先 xc1 执行到 gevent.sleep(0)时发生阻塞,此时,gevent 帮我们将切换到xc2,xc2 执行到 gevent.sleep(0)时又发生了阻塞,此时,gevent 又帮我们将切换到 xc1 去执行。

Q&A

Q:gevent 无法捕获的耗时

代码:


import gevent,time

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果:

function:@@@f1 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4

如上,你会发现,time.sleep(0.1)耗费的时间,gevent 无法捕捉,导致代码是串行的,虽然我们创建了协程,但是并没有起到异步的作用。
怎么办呢?请看下面的解决方案。

A:猴子补丁

对于无法捕获的耗时,gevent 为我们提供了猴子补丁,当我们为我们的程序打了猴子补丁,那么当我们的程序遇到任何耗时的操作,gevent 都会帮我们去自动切换协程,从而实现异步高并发。

代码:


import gevent,time
from gevent import monkey;monkey.patch_all()

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 注意这里
        time.sleep(0.1)

# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果:

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4

如上,你会发现协程的切换已经实现,问题完美解决。

实践

异步 requests 请求

代码:


from gevent import monkey;monkey.patch_all()
import gevent,time,requests
from urllib3 import disable_warnings

disable_warnings()

def req(url):
    res = requests.get(url,verify=False)
    if res:
        print('URL:{} | CODE:{}!'.format(url,res.status_code))
    else:
        print('URL:{} FAILED!')

xc1=gevent.spawn(req,'https://www.baidu.com')
xc2=gevent.spawn(req,'https://www.gitee.com')
xc3=gevent.spawn(req,'https://www.huaweicloud.com')

gevent.joinall([xc1,xc2,xc3])

执行结果:

URL:https://www.baidu.com | CODE:200!
URL:https://www.huaweicloud.com | CODE:200!
URL:https://www.gitee.com | CODE:200!

gevent 的锁

代码:


from gevent import monkey;monkey.patch_all()
from gevent.lock import Semaphore
import gevent,time

# 信号量设置为1
s1=Semaphore(1)

def f1():
    for i in range(5):
        # 信号量-1,即拿到锁
        s1.acquire()
        print('function:@@@f1 | NUM: @@@',i)

        # 信号量+1,即释放锁
        s1.release()

        # 猴子补丁帮忙识别阻塞
        time.sleep(0.1)

def f2():
    for i in range(5):
        # 信号量-1,即拿到锁
        s1.acquire()
        print('function:@@@f2 | NUM: @@@',i)

        # 信号量+1,即释放锁
        s1.release()

        # 猴子补丁帮忙识别阻塞
        time.sleep(0.3)

# 创建两个协程对象,分别去执行两个函数
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 将协程们交给gevent去执行
gevent.joinall([xc1,xc2])

执行结果:

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4

如上,可以看到,gevent 可以自动处理锁和阻塞。按阻塞规律,f1 和 f2 会交替执行,但是加上阻塞时间,因为 f2 的阻塞时间是 f1 的 3 倍,所以前 6 条打印中,f1 执行的次数是 f2 的三倍,即 gevent 可以自动判断和处理阻塞和锁同时存在的情况。

Tip

在 HTTP 的异步开发中,猴子补丁要在导入 gevent 之前打,否则会出现异常。

到此这篇关于Python中gevent模块协程使用的文章就介绍到这了,更多相关Python gevent协程内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯