文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

python并发执行之多进程

2023-01-31 05:41

关注

    多进程顾名思义程序启动的时候运行多个进程,每个进程启动一条线程进行程序处理。 没启动一个进程就要单独划分一块内存资源。就像工厂的厂房。为了提高效率每多添加一条生产线就要单独再盖一个厂房。每个厂房相互是独立的。所以启动多进程是很消耗资源的,毕竟厂房盖多了厂区就没地方给其他设施用了。

    多进程的代码实现方法和多线程的函数方式很类似

#!/usr/bin/env python
# -*-coding:utf-8-*-
from multiprocessing import Process
#引用的模块变成了多进程模块
def foo(i):
    print 'say hi',i
for i in range(10):
    """
    同时启动10个进程,把Process()实例化给p
    调用p.start()方法启动每个进程
    """
    p = Process(target=foo,args=(i,))
    p.start()

上面提到了多进程之间数据是相互独立的,我们来写一段代码测试一下

#!/usr/bin/env python
#coding:utf-8
 
from multiprocessing import Process
 
li = []
 
def foo(i):
#向列表中加入当前的进程序列号
    li.append(i)
    print 'say hi',li
  
for i in range(10):
    p = Process(target=foo,args=(i,))
    p.start()
     
print 'ending',li

上面的代码运行结果是

[wgw@mail ~]$ python test.py 
say hi [0]
say hi [1]
say hi [2]
say hi [3]
say hi [4]
say hi [5]
say hi [6]
say hi [7]
say hi [8]
ending []
say hi [9]

    注意看ending [] 这一列。通过代码我们得知每个一个派生的子进程都会调用foo()函数并将自己的进程运行序列号添加到li表中。但是当最后我们要查看li[]表里存储的内容,我们并没有看到自己希望看到[0,1,2...9]的内容这是为什么呢?这其实就是进程的内存相互独立导致的。我们创建了进程0,那么进程就复制了一个空列表li[],并把0追加到表里。那么对于进程0来说li列表的内容就是li[0]。但是进程1在启动之后也和进程0一样复制了一个空列表li[],对于进程1来说运行结束时候自己的列表li的内容就是li[1]。以此类推,启动了10个子进程就复制了10个li[]空列表。每个进程中的列表都是相互独立的,而程序的最后我们打印的是最主进程的那个li[]列表,这个列表没有被操作过所以还是空的。通过这里我们也可以得知,多进程的时候每个进程都要对资源进行复制。所以进程启动多了会异常的消耗资源。

    如果我们要让进程间数据同步,就需要借助multiprocessing模块中的Manager方法来管理特殊的列表或者字典。通过这种特殊方法来实现进程间数据的同步。看代码

#!/usr/bin/env python
# -*-coding:utf-8-*-
from multiprocessing import Process,Manager
def foo(i,Manger_list):
    """
    函数要引用别Manger方法管理的特殊列表,这列表的
    操作和标准列表是完全一致的。
    """
    Manger_list.append(i)
    print 'say hi',li
if __name__=='__main__':
    #定义一个空列表储存生成的多进程句柄
    p_list=[]
    #实例化Manager方法
    manager=Manager()
    #声明li是被manger管理的特殊列表
    li = manager.list()
    for i in range(10):
        #将进程的启动序列号和特殊列表赋值给foo()函数
        p = Process(target=foo,args=(i,li))
        p_list.append(p)
    for p in p_list:
        #执行多进程句柄,交给CPU调度
        p.start()
    for p in p_list:
        #在最后一个子进程结束前,不能停止主进程
        p.join()
    #主进程结束后打印主进程中li列表的内容
    print 'ending',li

这段代码的运行结果是

say hi [0]
say hi [0, 7]
say hi [0, 7, 4]
say hi [0, 7, 4, 5]
say hi [0, 7, 4, 5, 6]
say hi [0, 7, 4, 5, 6, 2]
say hi [0, 7, 4, 5, 6, 2, 9]
say hi [0, 7, 4, 5, 6, 2, 9, 3]
say hi [0, 7, 4, 5, 6, 2, 9, 3, 8]
say hi [0, 7, 4, 5, 6, 2, 9, 3, 8, 1]
ending [0, 7, 4, 5, 6, 2, 9, 3, 8, 1]

从上面的结果就可以看出来,虽然进程执行结束的顺序和启动时候的顺序不一样了。但是每个子进程的执行结果都被追加到了同一个li列表中。并且最后主进程的li列表内容和子进程的的内容一致。说明通过multiprocessing.Manager()方法可以让多进程像多线程一样实现内存数据的共享。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯