在python程序中的进程操作
运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此,运行起来的python程序也是一个进程,那么我们也可以在程序中再创建进程。多个进程可以实现并发效果,也就是说,当我们的程序中存在多个进程的时候,在某些时候,就会让程序的执行速度变快。以我们之前所学的知识,并不能实现创建进程这个功能,所以我们就需要借助python中强大的模块。
multiprocess模块
multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多,为了方便归类记忆,大致分为四个部分:创建进程部分,进程同步部分,进程池部分,进程之间数据共享
multiprocess.process模块
process模块介绍
process模块是一个创建进程的模块,借助这个模块,就可以完成进程的创建
Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务
(尚未启动)
强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号
参数介绍:
1 group参数未使用,值始终为None
2 target表示调用对象,即子进程要执行的任务
3 args表示调用对象的位置参数元组,args=(1,2,'egon',)
4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
5 name为子进程的名称
方法介绍
1 p.start():启动进程,并调用该子进程中的p.run()
2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法
3 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需
要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
4 p.is_alive():如果p仍然运行,返回True
5 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时
时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
属性介绍
1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定
为True后,p不能创建自己的新进程,必须在p.start()之前设置
2 p.name:进程的名称
3 p.pid:进程的pid
4 p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底
层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
在windows中使用process模块的注意事项
在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制),在创建子进程的时候会自动 import 启动它的这
个文件,而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。
所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来,import 的时候 ,就不会递归运行了
每一个进程,都有一个进程id号,查看进程号
import os
import time
print(os.getpid())
time.sleep(1000)
运行结果
这个进程号,每次执行程序的时候,都是随机分配的
系统中的进程id号,是不会冲突的,每一个进程,对应一个唯一的进程id号
通过windows任务管理器,就可以看到
使用process创建一个进程
import os
import time
from multiprocessing import Process
def process1():
print('process1 : ', os.getpid()) # 打印进程id号
time.sleep(10) # 延迟10秒
print(os.getppid()) # 打印父进程id号
p = Process(target=process1) # 实例化一个对象p,target=process1表示子进程要执行的任务
p.start() # 启动进程
执行报错
在创建子进程的时候会自动 import 启动它的这个文件,而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。所以必须把创建子进程的部分使用if __name__ ==‘__main__’ 判断保护起来,import 的时候 ,就不会递归运行了。
解决方案:
import os
import time
from multiprocessing import Process
def process1():
print('process1 : ', os.getpid(), os.getppid()) # 打印进程id号, getppid父进程id号
time.sleep(10) # 延迟10秒
print(os.getpid()) # 打印进程id号
if __name__ == '__main__':
p = Process(target=process1) # 实例化一个对象p,target=process1表示子进程要执行的任务
p.start() # 启动进程
执行结果
为什么会打印两次进程id号?
一个是当前进程的id号,一个是创建新进程的id号
使用process模块创建进程并传参
import os
import time
from multiprocessing import Process
def process1(n, name, num=20):
print('process1 : ', os.getpid())
print('n : ', n, name, num)
time.sleep(10)
if __name__ == '__main__':
print(os.getpid()) # 打印进程id
# 实例化一个对象p(即创建一个新进程(子进程)),target=process1表示子进程要执行的程序为process1
# args里面为需要传入的参数
p = Process(target=process1, args=[1, 'Sam', 30])
p.start() # 运行进程
执行结果
14452 # 打印当前进程id号
process1 : 5884 # 打印新进程id号
n : 1 Sam 30
在一个python进程中开启子进程,start方法和并发效果
import time
from multiprocessing import Process
def f(name):
print('执行子进程')
print('hello', name)
time.sleep(5)
print('子进程执行完毕,退出!')
if __name__ == '__main__':
p = Process(target=f, args=('Sam',))
p.start() # 执行子进程
print('执行主进程的内容')
执行结果:
执行主进程的内容
执行子进程
hello Sam
子进程执行完毕,退出!
注释:
1 主进程默认会等待子进程执行完毕之后才会结束
2 主进程和子进程之间的代码是异步执行的
3 为什么主进程要等待子进程结束:回收一些子进程的资源
4 开启一个进程是有时间开销的:操作系统响应开启进程指令,给这个进程分配必要的资源
进程同步控制
import os
import time
from multiprocessing import Process
def func():
print(os.getpid(),os.getppid())
time.sleep(1)
if __name__ == '__main__':
print(os.getpid(), os.getppid())
p = Process(target=func)
p.start()
p.join() # join方法能够检测到p进程是否已经执行完了,阻塞直到p执行结束
# join方法能够让子进程执行结束后,在执行其它的
print('*'*20)
执行结果,join方法,能够将一个程序变成同步的
14832 13644
15796 14832
********************
举一个join方法应用场景的实际例子
让子进程计算一个值,主进程必须得到子进程的值,来计算值
以文件为消息中间件,来完成主进程获取子进程的值
import os
from multiprocessing import Process
def func(exp):
print(os.getpid(), os.getppid())
result = eval(exp) # eval去引号,得到里面真正的表达式
with open('file', 'w') as f:
f.write(str(result))
if __name__ == '__main__':
print(os.getpid(), os.getppid())
p = Process(target=func, args=['3*5'])
p.start()
ret = 5/6
p.join() # join方法能够检测到p进程是否已经执行完了,阻塞直到p执行结束
# p.join()方法一直阻塞,等待子进程算出结果后才执行下面的代码
with open('file') as f:
result = f.read()
ret = ret + int(result)
print('计算结果为 : {:.2f}'.format(ret))
执行结果:
9980 13644
2236 9980
计算结果为 : 15.83
开启多个子进程
方法一
import os
from multiprocessing import Process
def process(n):
print(os.getpid(), os.getppid())
print(n)
if __name__ == '__main__':
Process(target=process, args=[1, ]).start()
Process(target=process, args=[2, ]).start()
执行结果
12840 4320
1
16128 4320
2
如果需要开启很多个子进程,写多个明显不理智
方法二
import os
from multiprocessing import Process
def process(n):
print(os.getpid(), os.getppid())
print(n)
if __name__ == '__main__':
for i in range(5):
Process(target=process, args=[i, ]).start()
执行结果
16308 15472
1
14320 15472
0
9652 15472
2
7752 15472
3
3992 15472
4
注释:为什么上面执行的顺序是随机的?
是操作系统来决定的,它不一定是按照你的顺序来开启进程,有自己的算法,比如开启一个进程,时间片轮转了,那么就不是顺序的
计算复杂的表达式,怎么使用启用多个进程执行?
import os
import time
from multiprocessing import Process
def process(n):
print(os.getpid(), os.getppid())
time.sleep(1)
print(n)
if __name__ == '__main__':
# 将所有进程放入一个列表里面
p_lst = []
for i in range(10):
p = Process(target=process, args=[i, ])
p.start()
p_lst.append(p)
for p in p_lst:
p.join() # 所有的子进程执行之后,在一起执行join方法(阻塞算结果),
# 所有的子进程都结束后才会执行后面的代码
print('求和!')
开启进程的第二种方式
通过继承来实现的,必须要重写run方法,名字必须是run
import os
from multiprocessing import Process
class Myprocess(Process):
def __init__(self, *args): # *args接收多个参数
super().__init__() # 执行父类__init__方法
self.args = args
def run(self):
print(os.getpid(), self.name) # self.name 为进程名
for i in self.args:
print('{}和女主播聊天'.format(i))
if __name__ == '__main__':
print(os.getpid())
p = Myprocess('Sam', 'Tom')
p.start() # 在执行start的时候,会帮我们主动执行run方法中的内容
执行结果
14340
14780 Myprocess-1
Sam和女主播聊天
Tom和女主播聊天
进程中的数据隔离,如何证明是隔离的呢?
from multiprocessing import Process
n = 100
def func():
global n # 声明使用全局变量
n += 1
print('son :', n)
# 子进程的变量不会影响主进程的变量
if __name__ == '__main__':
p = Process(target=func)
p.start()
p.join()
print(n)
执行结果
son : 101
100
守护进程
import time
from multiprocessing import Process
def func():
print('son start')
time.sleep(1)
print('son end')
if __name__ == '__main__':
p = Process(target=func)
# 在一个进程开启之前可以设置它为一个守护进程
p.daemon = True
p.start()
time.sleep(0.5)
print('在主进程中')
执行结果:
son start
在主进程中
总结:守护进程的意义:子进程会随着主进程代码的执行结束而结束
守护进程的作用:
1 守护主进程,程序报活(检查主进程是否存活)
2 主进程开启的时候,建立一个守护进程
3 守护进程只负责每隔1分钟,就给检测程序发一条信息
例2:守护进程
import time
from multiprocessing import Process
def func():
print('son start')
while True:
time.sleep(1)
print('son')
def func2():
print('start : in func2')
time.sleep(5)
print('end : in func2')
if __name__ == '__main__':
p = Process(target=func)
# 在一个进程开启之前可以设置它为守护进程
p.daemon = True
p.start()
Process(target=func2).start()
time.sleep(2)
print('在主进程中')
执行结果
son start
start : in func2
son
在主进程中
end : in func2
总结:
主进程会等待子进程的结束而结束
守护进程的意义:
子进程会随着主进程代码的执行结束而结束
注意:守护进程不会关心主进程什么时候结束,我只关心主进程中的代码什么时候结束
守护进程的作用:
守护主进程,程序报活(检测主进程是否存活)
主进程开启的时候,建立一个守护进程
守护进程只负责每隔1分钟,就给检测程序发一条消息
进程中的其它方法
import time
from multiprocessing import Process
def func():
print('wahaha')
time.sleep(20)
print('wahaha end')
if __name__ == '__main__':
p = Process(target=func)
p.start()
print(p.is_alive()) # 检测进程是否存活
time.sleep(1)
p.terminate() # 在主进程中结束一个子进程
# 执行命令后,进程不是马上结束,而是等待操作系统来回收
print(p.is_alive()) # 检测进程是否存活
time.sleep(0.5)
print(p.is_alive()) # 检测进程是否存活
执行结果
True
wahaha
True
False