上章节内容总结:
队列
队列:先进先出，数据进程安全
管道+锁 可实现队列
生产者消费者模型：解决数据供需不平衡
管道
双向通信 数据进程不安全
EOFError:
管道是由操作系统进行引用计数的
必须在所有进程中关闭管道后才能生成EOFError异常
数据共享(不常用)
Manager里面有很多种方法
list,dict数据进程不安全
进程池
存放进程的容器
在进程创建之初，创建固定个数的进程
会被多个任务循环利用
节省了进程创建和销毁的时间开销
降低了操作系统调度进程的压力
信号量和进程池的区别
信号量 n个任务开启固定个数的进程
但同一时间只能有固定个数的进程在执行
进程在等待被执行
进程池 n个任务开启固定个数的进程
因此同一个时间只能有固定个数的进程在执行
任务在等待被执行
Pool--线程池，示例
import time
from multiprocessing import Pool
def wahaha(i):
time.sleep(1)
print('*'*i)
if __name__ == '__main__':
p = Pool(5)
# map方法 自带close和join
# 但是参数必须是一个iterable
# 不能获取返回值
p.map(func=wahaha, iterable=range(10))执行结果
*
**
***
****
*****
*******
******
********
*********
上面的方法等同于下面的方法
import time
from multiprocessing import Pool
def wahaha(i):
time.sleep(1)
return '*'*i
if __name__ == '__main__':
p = Pool(5)
res_l = []
for i in range(10):
res = p.apply_async(func=wahaha,args=(i,))
res_l.append(res)
for i in res_l:
print(i.get())
p.close() # 不能再提交新的任务，而不是直接关闭
p.join() # 等待池中的任务都执行完执行结果
*
**
***
****
*****
******
*******
********
*********
回调函数
回调函数在什么时候执行？
子进程的任务执行完毕之后立即触发
回调函数的参数？
子进程的返回值
回调函数是由谁执行的？
主进程执行的
在哪儿用回调函数？
爬虫：
如果要爬取多个格式相同的网页
真正影响程序效率的是网络的延迟
计算 分析 处理网页的时间是很快的
操作系统线程理论
线程概念的引入背景
进程
程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以实现并发地执行。这是这样的设计，大大提高了CPU的利用率。进程的出现让每个用户感觉到自己独享CPU，因此，进程就是为了在CPU上实现多道编程而提出的。
有了进程为什么要有线程
进程有很多优点，它提供了多道编程，让我们感觉我们每个人都拥有自己的CPU和其他资源，可以提高计算机的利用率。很多人就不理解了，既然进程这么优秀，为什么还要线程呢？其实，仔细观察就会发现进程还是有很多缺陷的，主要体现在两点上：
进程只能在一个时间干一件事，如果想同时干两件事或多件事，进程就无能为力了。
进程在执行的过程中如果阻塞，例如等待输入，整个进程就会挂起，即使进程中有些工作不依赖于输入的数据，也将无法执行。
现在你应该明白了进程的缺陷了，而解决的办法很简单，我们完全可以让听、写、思三个独立的过程，并行起来，这样很明显可以提高听课的效率。而实际的操作系统中，也同样引入了这种类似的机制——线程。
线程的出现
60年代，在OS中能拥有资源和独立运行的基本单位是进程，然而随着计算机技术的发展，进程出现了很多弊端，一是由于进程是资源拥有者，创建、撤消与切换存在较大的时空开销，因此需要引入轻型进程；二是由于对称多处理机（SMP）出现，可以满足多个运行单位，而多个进程并行开销过大。
因此在80年代，出现了能独立运行的基本单位——线程（Threads）。
注意：进程是资源分配的最小单位,线程是CPU调度的最小单位.
每一个进程中至少有一个线程。
进程和线程的关系
线程与进程的区别可以归纳为以下4点：
1）地址空间和其它资源（如打开文件）：进程间相互独立，同一进程的各线程间共享。某进程内的线程在其它进程不可见。
2）通信：进程间通信IPC，线程间可以直接读写进程数据段（如全局变量）来进行通信——需要进程同步和互斥手段的辅助，以保证数据的一致性。
3）调度和切换：线程上下文切换比进程上下文切换要快得多。
4）在多线程操作系统中，进程不是一个可执行的实体
线程的特点
在多线程的操作系统中，通常是在一个进程中包括多个线程，每个线程都是作为利用CPU的基本单位，是花费最小开销的实体。线程具有以下属性。
1）轻型实体
线程中的实体基本上不拥有系统资源，只是有一点必不可少的、能保证独立运行的资源。
线程的实体包括程序、数据和TCB。线程是动态概念，它的动态特性由线程控制块TCB（Thread Control Block）描述。
TCB包括以下信息：
（1）线程状态。
（2）当线程不运行时，被保存的现场资源。
（3）一组执行堆栈。
（4）存放每个线程的局部变量主存区。
（5）访问同一个进程中的主存和其它资源。
用于指示被执行指令序列的程序计数器、保留局部变量、少数状态参数和返回地址等的一组寄存器和堆栈。2）独立调度和分派的基本单位。
在多线程OS中，线程是能独立运行的基本单位，因而也是独立调度和分派的基本单位。由于线程很“轻”，故线程的切换非常迅速且开销小（在同一进程中的）。
3）共享进程资源。
线程在同一进程中的各个线程，都可以共享该进程所拥有的资源，这首先表现在：所有线程都具有相同的进程id，这意味着，线程可以访问该进程的每一个内存资源；此外，还可以访问进程所拥有的已打开文件、定时器、信号量机构等。由于同一个进程内的线程共享内存和文件，所以线程之间互相通信不必调用内核。
4）可并发执行。
在一个进程中的多个线程之间，可以并发执行，甚至允许在一个进程中所有线程都能并发执行；同样，不同进程中的线程也能并发执行，充分利用和发挥了处理机与外围设备并行工作的能力。
使用线程的实际场景
开启一个字处理软件进程，该进程肯定需要办不止一件事情，比如监听键盘输入，处理文字，定时自动将文字保存到硬盘，这三个任务操作的都是同一块数据，因而不能用多进程。只能在一个进程里并发地开启三个线程,如果是单线程，那就只能是，键盘输入时，不能处理文字和自动保存，自动保存时又不能输入和处理文字。
内存中的线程
多个线程共享同一个进程的地址空间中的资源，是对一台计算机上多个进程的模拟，有时也称线程为轻量级的进程。
而对一台计算机上多个进程，则共享物理内存、磁盘、打印机等其他物理资源。多线程的运行也多进程的运行类似，是cpu在多个线程之间的快速切换。
不同的进程之间是充满敌意的，彼此是抢占、竞争cpu的关系，如果迅雷会和QQ抢资源。而同一个进程是由一个程序员的程序创建，所以同一进程内的线程是合作关系，一个线程可以访问另外一个线程的内存地址，大家都是共享的，一个线程干死了另外一个线程的内存，那纯属程序员脑子有问题。
类似于进程，每个线程也有自己的堆栈，不同于进程，线程库无法利用时钟中断强制线程让出CPU，可以调用thread_yield运行线程自动放弃cpu，让另外一个线程运行。
线程通常是有益的，但是带来了不小程序设计难度，线程的问题是：
1. 父进程有多个线程，那么开启的子线程是否需要同样多的线程
2. 在同一个进程中，如果一个线程关闭了文件，而另外一个线程正准备往该文件内写内容呢？
因此，在多线程的代码中，需要更多的心思来设计程序的逻辑、保护程序的数据。
用户级线程和内核级线程（了解）
线程的实现可以分为两类：用户级线程(User-Level Thread)和内核线线程(Kernel-Level Thread)，后者又称为内核支持的线程或轻量级进程。在多线程操作系统中，各个系统的实现方式并不相同，在有的系统中实现了用户级线程，有的系统中实现了内核级线程
用户级线程
在用户空间模拟操作系统对进程的调度，来调用一个进程中的线程，每个进程中都会有一个运行时系统，用来调度线程。此时当该进程获取cpu时，进程内再调度出一个线程去执行，同一时刻只有一个线程执行。
内核级线程
内核级线程:切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态；可以很好的利用smp，即利用多核cpu。windows线程就是这样的。
用户级与内核级线程的对比
用户级线程和内核级线程的区别
1 内核支持线程是OS内核可感知的，而用户级线程是OS内核不可感知的。
2 用户级线程的创建、撤消和调度不需要OS内核的支持，是在语言（如Java）这一级处理的；而内核支持线程的创建、撤消
和调度都需OS内核提供支持，而且与进程的创建、撤消和调度大体是相同的。
3 用户级线程执行系统调用指令时将导致其所属进程被中断，而内核支持线程执行系统调用指令时，只导致该线程被中断。
4 在只有用户级线程的系统内，CPU调度还是以进程为单位，处于运行状态的进程中的多个线程，由用户程序控制线程的轮换
行；在有内核支持线程的系统内，CPU调度则以线程为单位，由OS的线程调度程序负责线程的调度。
5 用户级线程的程序实体是运行在用户态下的程序，而内核支持线程的程序实体则是可以运行在任何状态下的程序。内核线程的优缺点
优点：当有多个处理机时，一个进程的多个线程可以同时执行。
缺点：由内核进行调度。用户级线程的优缺点
优点：
线程的调度不需要内核直接参与，控制简单。
可以在不支持线程的操作系统中实现。
创建和销毁线程、线程切换代价等线程管理的代价比内核线程少得多。
允许每个进程定制自己的调度算法，线程管理比较灵活。
线程能够利用的表空间和堆栈空间比内核级线程多。
同一进程中只能同时有一个线程在运行，如果有一个线程使用了系统调用而阻塞，那么整个进程都会被挂起。另外，页面失
效也会产生同样的问题。
缺点：
资源调度按照进程进行，多个处理机下，同一个进程中的线程只能在同一个处理机下分时复用混合实现
用户级与内核级的多路复用，内核同一调度内核线程，每个内核线程对应n个用户线程
总结进程概念
操作系统管理进程
进程是执行任务
资源的隔离
在一个操作系统中，同一时间，有多个任务
多个任务之间的内存必须隔离开
开启一个子进程的开销 很大
操作系统在进程之间的切换 时间开销也很大
进程之间的通信
数据共享：时间开销
如果多个子进程之间的数据共享量过多的时候
就不应该将这些数据隔离开
一个进程---实现不了并发
既不希望数据隔离，还要实现并发的效果，应该使用线程
线程
线程是轻量级的进程
线程的创建和销毁所需要的时间开销都非常小
线程直接使用进程的内存
线程不能独立存在，要依赖于进程
进程 -- 资源分配的最小单位
线程 -- CPU调度的最小单位
轻型进程：创建，销毁，切换，开销比进程小
数据不隔离
可以并发
依赖进程
每个进程里至少有一个线程
进程负责管理资源，线程负责执行代码
Python程序运行起来 -- 进程
进程 -- 管理整个程序的内存
存储全局的变量：内置的函数，全局的名字
线程 -- 执行代码 多个线程 -- 同时执行 -- 并发效果
线程和python,理论知识
全局解释器锁GIL
Python代码的执行由Python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行。虽然 Python 解释器中可以“运行”多个线程，但在任意时刻只有一个线程在解释器中运行。
对Python虚拟机的访问由全局解释器锁(GIL)来控制，正是这个锁能保证同一时刻只有一个线程在运行。
在多线程环境中，Python 虚拟机按以下方式执行：
a、设置 GIL；
b、切换到一个线程去运行；
c、运行指定数量的字节码指令或者线程主动让出控制(可以调用 time.sleep(0))；
d、把线程设置为睡眠状态；
e、解锁 GIL；
d、再次重复以上所有步骤。
在调用外部代码(如 C/C++扩展函数)的时候，GIL将会被锁定，直到这个函数结束为止(由于在这期间没有Python的字节码被运行，所以不会做线程切换)编写扩展的程序员可以主动解锁GIL。
python线程模块的选择
Python提供了几个用于多线程编程的模块，包括thread、threading和Queue等。thread和threading模块允许程序员创建和管理线程。thread模块提供了基本的线程和锁的支持，threading提供了更高级别、功能更强的线程管理的功能。Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。
避免使用thread模块，因为更高级别的threading模块更为先进，对线程的支持更为完善，而且使用thread模块里的属性有可能会与threading出现冲突；其次低级别的thread模块的同步原语很少(实际上只有一个)，而threading模块则有很多；再者，thread模块中当主线程结束时，所有的线程都会被强制结束掉，没有警告也不会有正常的清除工作，至少threading模块能确保重要的子线程退出后进程才退出。
thread模块不支持守护线程，当主线程退出时，所有的子线程不论它们是否还在工作，都会被强行退出。而threading模块支持守护线程，守护线程一般是一个等待客户请求的服务器，如果没有客户提出请求它就在那等着，如果设定一个线程为守护线程，就表示这个线程是不重要的，在进程退出的时候，不用等待这个线程退出。
threading模块
线程的创建Threading.Thread类
创建线程的方式1
from threading import Thread
import time
def func1(name):
time.sleep(1)
print('{} say hello'.format(name))
t = Thread(target=func1,args=('Sam',))
t.start()
print('主线程')执行结果
主线程
Sam say hello
创建线程的方式2，通过类的继承
from threading import Thread
import time
class Func1(Thread):
def __init__(self, name):
super().__init__()
self.name = name
def run(self):
time.sleep(1)
print('{} say hello'.format(self.name))
if __name__ == '__main__':
t = Func1('Sam')
t.start()
print('主线程')执行结果
主线程
Sam say hello
多线程与多进程
pid的比较
from threading import Thread
from multiprocessing import Process
import os
def work():
print('hello,',os.getpid())
if __name__ == '__main__':
# 在主进程下开启多个线程，每个线程都跟主进程的pid一样
t1 = Thread(target=work) # 开启一个线程
t2 = Thread(target=work) # 开启两个线程
t1.start()
t2.start()
print('主线程/主进程pid', os.getpid())
# 开多个进程，每个进程都有不同的pid
p1 = Process(target=work)
p2 = Process(target=work)
p1.start()
p2.start()
print('主线程/主进程pid',os.getpid())执行结果
hello, 13440
hello, 13440
主线程/主进程pid 13440
主线程/主进程pid 13440
hello, 11480
hello, 10312
开启效率的比较
from threading import Thread
from multiprocessing import Process
import os
import time
def work(i):
print('-->',os.getpid())
time.sleep(1)
print('*'*i)
if __name__ == '__main__':
# 线程
print(os.getpid())
start = time.time()
thread_lst = []
for i in range(20):
t = Thread(target=work, args=(i,))
t.start()
print('-->',t.name,t.ident)
thread_lst.append(t)
for t in thread_lst:t.join()
print(time.time()-start)
# 进程
start = time.time()
process_lst = []
for i in range(20):
p = Process(target=work, args=(i,))
p.start()
process_lst.append(p)
for p in process_lst:p.join()
print(time.time()-start)执行结果
线程的执行时间为1.0066828727722168
进程的执行时间为1.7857422828674316
效率问题：线程快，进程慢
同一个进程下的多个线程进程号相同：线程号不同
if __name__ == '__main__':开启进程 必须有这句话，但是开启线程不需要
这种现象只在windows操作系统上才出现
数据的共享问题：在进程之间数据隔离，在线程之间数据共享
内存数据的共享问题
from threading import Thread
from multiprocessing import Process
import os
def work():
global n
n = 0
if __name__ == '__main__':
n = 100
p = Process(target=work)
p.start()
p.join()
print('主', n) # 毫无疑问子进程p已经将自己的全局n改成了0
# 但改的仅仅是它自己的,查看父进程的n仍然为100
n = 1
t = Thread(target=work)
t.start()
t.join()
print('主', n)执行结果
主 100
主 0
练习：多线程实现socket
server端代码
import threading
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(('127.0.0.1', 9595))
s.listen(5)
def action(conn):
while True:
data = conn.recv(1024).decode('utf-8')
if data.upper() == 'Q':
break
print(data)
conn.send(data.upper().encode('utf-8'))
if __name__ == '__main__':
while True:
conn, addr = s.accept()
p = threading.Thread(target=action, args=(conn,))
p.start()client端代码
import socket
s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect(('127.0.0.1', 9595))
while True:
msg = input('>>:').strip()
if not msg:continue
s.send(msg.encode('utf-8'))
if msg.upper() == 'Q':break
data = s.recv(1024).decode('utf-8')
print(data)
if data.upper() == 'Q':
s.send(data.encode('utf-8'))
break
s.close()执行结果
Thread类的其他方法
Thread实例对象的方法
isAlive(): 返回线程是否活动的。
getName(): 返回线程名。
setName(): 设置线程名。
threading模块提供的一些方法：
threading.currentThread(): 返回当前的线程变量。
threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前，不包括启动前和终止
后的线程。
threading.activeCount(): 返回正在运行的线程数量，与len(threading.enumerate())有相同的结果。代码示例：
from threading import Thread
import threading
import time
def work():
time.sleep(2)
print(threading.current_thread().getName())
if __name__ == '__main__':
# 在主进程下开启线程
t = Thread(target=work)
t.start()
print(threading.current_thread().getName())
print(threading.current_thread()) # 主线程
print(threading.enumerate()) # 连同主线程在内有两个运行的线程
print('主线程/主进程')执行结果
MainThread
[
主线程/主进程
Thread-1
join方法
代码示例:
from threading import Thread
import time
def wock(name):
time.sleep(2)
print('{} say hello'.format(name))
if __name__ == '__main__':
t = Thread(target=wock, args=('Sam',))
t.start()
t.join()
print('主线程')
print(t.is_alive())执行结果
Sam say hello
主线程
False
守护线程
无论是进程还是线程，都遵循：守护xx会等待主xx运行完毕后被销毁。需要强调的是：运行完毕并非终止运行
1.对主进程来说，运行完毕指的是主进程代码运行完毕
2.对主线程来说，运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕，主线程才算运行完毕详细解释
1 主进程在其代码结束后就已经算运行完毕了（守护进程在此时就被回收）,然后主进程会一直等非守护的子进程都运行完毕
后回收子进程的资源(否则会产生僵尸进程)，才会结束，
2 主线程在其他非守护线程运行完毕后才算运行完毕（守护线程在此时就被回收）。因为主线程的结束意味着进程的结束，
进程整体的资源都将被回收，而进程必须保证非守护线程都运行完毕后才能结束。守护线程：示例1
from threading import Thread
import time
def wock(name):
time.sleep(2)
print('{} say hello'.format(name))
if __name__ == '__main__':
t = Thread(target=wock, args=('Sam',))
f = Thread(target=wock, args=('Tom',))
f.setDaemon(True) # 必须在t.start()之前设置
f.start()
t.start()
print('主线程')
print(t.is_alive())执行结果
主线程
True
Tom say hello
Sam say hello
守护线程：示例2
from threading import Thread
import time
def foo():
print(123)
time.sleep(1)
print('end123')
def bar():
print(456)
time.sleep(3)
print('end456')
t1 = Thread(target=foo)
t2 = Thread(target=bar)
t1.daemon = True
t1.start()
t2.start()
print('main....')执行结果
123
456
main....
end123
end456
锁与GIL
GIL —— 全局解释器锁
锁线程 ：在计算的时候 同一时刻只能有一个线程访问CPU
线程锁限制了你对CPU的使用，但是不影响web类或者爬虫类代码的效率
我们可以通过启动多进程的形式来弥补这个问题
