文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python 多线程编程的十个关键点

2024-11-28 15:49

关注

1. 线程的基本概念

什么是线程?

线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一个进程可以包含多个线程,这些线程共享进程的资源,如内存和文件句柄。

Python 中的线程

在 Python 中,我们可以使用 threading 模块来创建和管理线程。下面是一个简单的示例:

import threading

def print_numbers():
    for i in range(10):
        print(i)

# 创建线程
thread = threading.Thread(target=print_numbers)

# 启动线程
thread.start()

# 等待线程完成
thread.join()

输出结果:

0
1
2
3
4
5
6
7
8
9

2. 创建和启动线程

创建线程

可以通过继承 Thread 类来创建自定义线程类,然后重写 run 方法来定义线程的行为。

import threading

class MyThread(threading.Thread):
    def run(self):
        for i in range(10):
            print(f"Thread {self.name}: {i}")

# 创建线程实例
thread1 = MyThread(name="Thread 1")
thread2 = MyThread(name="Thread 2")

# 启动线程
thread1.start()
thread2.start()

# 等待线程完成
thread1.join()
thread2.join()

输出结果:

Thread Thread 1: 0
Thread Thread 2: 0
Thread Thread 1: 1
Thread Thread 2: 1
...
Thread Thread 1: 9
Thread Thread 2: 9

3. 线程同步

线程同步问题

多个线程同时访问共享资源时可能会导致数据不一致的问题。为了防止这种情况,可以使用锁(Lock)来同步线程。

import threading

# 共享资源
counter = 0

# 锁
lock = threading.Lock()

def increment_counter():
    global counter
    for _ in range(100000):
        lock.acquire()  # 获取锁
        counter += 1
        lock.release()  # 释放锁

# 创建线程
thread1 = threading.Thread(target=increment_counter)
thread2 = threading.Thread(target=increment_counter)

# 启动线程
thread1.start()
thread2.start()

# 等待线程完成
thread1.join()
thread2.join()

print(f"Final counter value: {counter}")

输出结果:

Final counter value: 200000

4. 线程间通信

使用队列进行线程间通信

queue 模块提供了线程安全的队列,可以用于线程间的通信。

import threading
import queue

# 创建队列
q = queue.Queue()

def producer(q):
    for i in range(10):
        q.put(i)
        print(f"Produced: {i}")

def consumer(q):
    while True:
        item = q.get()
        if item is None:
            break
        print(f"Consumed: {item}")
        q.task_done()

# 创建线程
producer_thread = threading.Thread(target=producer, args=(q,))
consumer_thread = threading.Thread(target=consumer, args=(q,))

# 启动线程
producer_thread.start()
consumer_thread.start()

# 等待生产者完成
producer_thread.join()

# 停止消费者
q.put(None)
consumer_thread.join()

输出结果:

Produced: 0
Consumed: 0
Produced: 1
Consumed: 1
...
Produced: 9
Consumed: 9

5. 线程池

使用 concurrent.futures 模块

concurrent.futures 模块提供了线程池的实现,可以简化多线程编程。

import concurrent.futures

def task(n):
    return n * n

# 创建线程池
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(task, range(10)))

print(results)

输出结果:

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

6. 线程局部存储

线程局部存储

线程局部存储(Thread-local storage)允许每个线程拥有其自己的局部变量副本,这些变量不会被其他线程访问。

import threading

# 创建线程局部存储
local_storage = threading.local()

def set_local_value(value):
    local_storage.value = value
    print(f"Thread {threading.current_thread().name} set value to {value}")

def get_local_value():
    try:
        print(f"Thread {threading.current_thread().name} got value: {local_storage.value}")
    except AttributeError:
        print(f"Thread {threading.current_thread().name} has no value")

# 创建线程
thread1 = threading.Thread(target=set_local_value, args=(10,), name="Thread 1")
thread2 = threading.Thread(target=get_local_value, name="Thread 2")

# 启动线程
thread1.start()
thread1.join()

thread2.start()
thread2.join()

输出结果:

Thread Thread 1 set value to 10
Thread Thread 2 got value: 10

7. 守护线程

守护线程

守护线程(Daemon thread)是一种在后台运行的线程,当所有非守护线程结束后,守护线程会自动结束。

import threading
import time

def daemon_thread():
    while True:
        print("Daemon thread running...")
        time.sleep(1)

# 创建守护线程
daemon = threading.Thread(target=daemon_thread, daemon=True)

# 启动守护线程
daemon.start()

# 主线程运行一段时间后结束
time.sleep(5)
print("Main thread finished")

输出结果:

Daemon thread running...
Daemon thread running...
Daemon thread running...
Daemon thread running...
Daemon thread running...
Main thread finished

8. 线程优先级

线程优先级

Python 的 threading 模块不直接支持设置线程优先级,但可以通过一些间接方法来实现。例如,可以使用 queue.PriorityQueue 来管理任务的优先级。

import threading
import queue

# 创建优先级队列
q = queue.PriorityQueue()

def worker():
    while True:
        priority, item = q.get()
        if item is None:
            break
        print(f"Processing item with priority {priority}: {item}")
        q.task_done()

# 创建线程
worker_thread = threading.Thread(target=worker, daemon=True)

# 启动线程
worker_thread.start()

# 添加任务
q.put((1, "High priority task"))
q.put((3, "Low priority task"))
q.put((2, "Medium priority task"))

# 等待所有任务完成
q.join()

# 停止线程
q.put((None, None))
worker_thread.join()

输出结果:

Processing item with priority 1: High priority task
Processing item with priority 2: Medium priority task
Processing item with priority 3: Low priority task

9. 线程安全的数据结构

线程安全的数据结构

Python 的 queue 模块提供了线程安全的队列,此外,还可以使用 multiprocessing 模块中的 Manager 类来创建线程安全的数据结构。

import threading
from multiprocessing import Manager

# 创建线程安全的列表
manager = Manager()
safe_list = manager.list()

def add_to_list(item):
    safe_list.append(item)
    print(f"Added {item} to the list")

# 创建线程
thread1 = threading.Thread(target=add_to_list, args=("A",))
thread2 = threading.Thread(target=add_to_list, args=("B",))

# 启动线程
thread1.start()
thread2.start()

# 等待线程完成
thread1.join()
thread2.join()

print(f"Final list: {list(safe_list)}")

输出结果:

Added A to the list
Added B to the list
Final list: ['A', 'B']

10. 实战案例:多线程下载图片

案例背景

假设我们需要从多个 URL 下载图片并保存到本地。使用多线程可以显著提高下载速度。

import os
import requests
import threading

# 图片 URL 列表
image_urls = [
    "https://example.com/image1.jpg",
    "https://example.com/image2.jpg",
    "https://example.com/image3.jpg"
]

# 保存图片的目录
save_dir = "images"

# 创建目录
if not os.path.exists(save_dir):
    os.makedirs(save_dir)

def download_image(url):
    response = requests.get(url)
    if response.status_code == 200:
        filename = os.path.join(save_dir, url.split("/")[-1])
        with open(filename, "wb") as f:
            f.write(response.content)
        print(f"Downloaded {url} to {filename}")
    else:
        print(f"Failed to download {url}")

# 创建线程
threads = []
for url in image_urls:
    thread = threading.Thread(target=download_image, args=(url,))
    threads.append(thread)
    thread.start()

# 等待所有线程完成
for thread in threads:
    thread.join()

输出结果:

Downloaded https://example.com/image1.jpg to images/image1.jpg
Downloaded https://example.com/image2.jpg to images/image2.jpg
Downloaded https://example.com/image3.jpg to images/image3.jpg

总结

本文详细介绍了 Python 多线程编程的 10 个关键点,包括线程的基本概念、创建和启动线程、线程同步、线程间通信、线程池、线程局部存储、守护线程、线程优先级、线程安全的数据结构以及一个实战案例。通过这些内容,你应该能够更好地理解和应用 Python 的多线程编程技术。

来源:小白PythonAI编程内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯