进程通信
方式一、共享内存(进程安全,效率高)
共享变量:multiprocessing.Value
共享数组:multiprocessing.Array
方式二、Manager对象:
Mananger 包括:list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value, Array
Manager对象,相对于共享内存,更加灵活,支持Python对象,可以通过网络进行共享,但是效率低
进程同步
Manager对象:Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event
1、简单同步机制锁 Lock、RLock(A/B 进程同时修改一个对象,RLock支持嵌套)
2、可控制进程数量 Semaphore, BoundedSemaphore (例如连接池限制)
3、复杂同步条件变量 Condition (A/B进程可以多条件判断,交替执行)
4、事件控制 Event(A、C进程等待B进程执行某种操作之后才能执行)
进程池
multiprocessing.Pool
res = pool.apply_async (非阻塞)
res = pool.apply (阻塞)
res.get(timeout=2) 获取执行return的结果
subprocess(经常用来执行Linux命令,非常方便)
cmds = [‘ls’, ‘-l’]
subprocess.call(cmds, stdout=fd, stderr=fd)
返回执行后状态码
subprocess.check_call(cmds, stdout=fd, stderr=fd)
执行成功返回0,失败抛出异常
subprocess.call_output(cmds, stderr=fd)
执行成功返回标准输出,失败抛出异常
都是阻塞执行命令,标准与错误输出到文件句柄或者PIPE
多进程注意点:
1、不能使用Lock嵌套,会导致死锁,应该使用RLock嵌套
2、多线程/进程,随时可能发生切换,操作相同变量要加锁
3、多进程普通类型共享,可以使用共享内存Value,Array,效率高