文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

python实现定时任务的8种方式详解

2023-09-09 21:30

关注

        在日常工作中,常常会用到需要周期性执行的任务,一种方式是采用 Linux 系统自带的 crond 结合命令行实现。另外一种方式是直接使用Python。        

        当每隔一段时间就要执行一段程序,或者往复循环执行某一个任务,这就需要使用定时任务来执行程序。比如在实现对某个目标进行爬虫的话,需要用到实时任务。

python中常用的定时任务主要有以下8中方法:

  1. while True:+sleep()
  2. threading.Timer定时器
  3. Timeloop库执行定时任务
  4. 调度模块sched
  5. 调度模块schedule
  6. 任务框架APScheduler
  7. 分布式消息系统celery执行定时任务
  8. 使用windows自带的定时任务

接下来分别用上述8中方式来完成下面定义的Task()任务,示例代码如下:

from datetime import datetimedef task():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts)

1、利用while True:+sleep()实现定时任务

        最简单的方式应该就是使用time模块来实现定时任务,在循环里面放入要执行的任务,然后sleep一段时间再执行。实现令当前执行的线程暂停 n秒后再继续执行。所谓暂停,即令当前线程进入阻塞状态,当达到 sleep() 函数规定的时间后,再由阻塞状态转为就绪状态,等待 CPU 调度。

示例代码:

from datetime import datetimeimport timedef task():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts)def func():    while True:        task()        time.sleep(3)func()

运行结果:

优缺点:只能实现同步任务,无法执行异步任务。执行起来虽然是比较简单,但不容易控制,而且sleep是个阻塞函数。只能设定间隔,不能指定具体的时间点。

2、利用threading.Timer()定时器实现定时任务

        timer最基本理解就是定时器,可以启动多个定时任务,这些定时器任务是异步执行,所以不存在等待顺序执行问题。

Timer方法说明
Timer(interval, function, args=None, kwargs=None)创建定时器
cancel()取消定时器
start()使用线程方式执行
join(self, timeout=None)等待线程执行结束

示例代码:

from datetime import datetimefrom threading import Timerdef task():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts)def func():    task()    t = Timer(3, func)    t.start()func()

运行结果:

优缺点:可以实现异步任务,是非阻塞的,但当运行次数过多时,会出现报错:Pyinstaller maximum recursion depth exceeded Error Resolution 达到最大递归深度,然后想到的是修改最大递归深度,

sys.setrecursionlimit(100000000)

但是运行到达到最大CPU时,python会直接销毁程序。

关于更多timer用法,详见博文:threading.Timer()定时器实现定时任务_IT之一小佬的博客-CSDN博客

3、使用Timeloop库执行定时任务

        Timeloop是一个库,可用于运行多周期任务。这是一个简单的库,使用decorator模式在线程中运行标记函数。

示例代码:

from datetime import datetime, timedeltafrom timeloop import Timelooptl = Timeloop()def task():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts + '333!')def task2():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts + "555555!")@tl.job(interval=timedelta(seconds=2))def sample_job_every_2s():    task()@tl.job(interval=timedelta(seconds=5))def sample_job_every_5s():    task2()

关于更多timeloop用法,详见博文:   python中定时任务timeloop库用法详解_IT之一小佬的博客-CSDN博客

4、利用调度模块sched实现定时任务

        sched是一种调度(延时处理机制)。sched模块实现了一个通用事件调度器,在调度器类使用一个延迟函数等待特定的时间,执行任务。同时支持多线程应用程序,在每个任务执行后会立刻调用延时函数,以确保其他线程也能执行。

scheduler对象主要方法:

示例代码:

import schedimport timefrom datetime import datetime# 初始化sched模块的scheduler类# 第一个参数是一个可以返回时间戳的函数,第二个参数可以在定时未到达之前阻塞。schedule = sched.scheduler(time.time, time.sleep)def task(inc):    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts)    schedule.enter(inc, 0, task, (inc,))def func(inc=3):    # enter四个参数分别为:    # 间隔事件、优先级(用于同时间到达的两个事件同时执行时定序)、被调用触发的函数、给该触发函数的参数(tuple形式)    schedule.enter(0, 0, task, (inc,))    schedule.run()func()

运行结果:

关于更多sched用法,详见博文:  https://blog.csdn.net/weixin_44799217/article/details/127353545

5、利用调度模块schedule实现定时任务

        schedule是一个第三方轻量级的任务调度模块,可以按照秒,分,小时,日期或者自定义事件执行时间。
        如果想执行多个任务,也可以添加多个task。

示例代码:

import schedulefrom datetime import datetimedef task():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts)def task2():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts + '666!')def func():    # 清空任务    schedule.clear()    # 创建一个按3秒间隔执行任务    schedule.every(3).seconds.do(task)    # 创建一个按2秒间隔执行任务    schedule.every(2).seconds.do(task2)    while True:        schedule.run_pending()func()

运行结果:

优缺点:需要和while Ture配合使用,而且占用的CPU也比其他几种多的多,占用内存也是较大。

关于更多schedule用法,详见博文: https://blog.csdn.net/weixin_44799217/article/details/127352957

6、利用任务框架ASPcheduler实现定时任务

        APScheduler是Python的一个定时任务框架,用于执行周期或者定时任务,该框架不仅可以添加、删除定时任务,还可以将任务存储到数据库中,实现任务的持久化,使用起来非常方便。

示例代码:

from datetime import datetimefrom apscheduler.schedulers.blocking import BlockingSchedulerdef task():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts)def task2():    now = datetime.now()    ts = now.strftime("%Y-%m-%d %H:%M:%S")    print(ts + '666!')def func():    # 创建调度器BlockingScheduler()    scheduler = BlockingScheduler()    scheduler.add_job(task, 'interval', seconds=3, id='test_job1')    # 添加任务,时间间隔为5秒    scheduler.add_job(task2, 'interval', seconds=5, id='test_job2')    scheduler.start()func()

运行结果:

关于更多apschedule用法,详见博文:python中定时任务apscheduler库用法详解_IT之一小佬的博客-CSDN博客 

7、使用分布式消息系统celery执行定时任务

        Celery是一个简单,灵活,可靠的分布式系统,用于处理大量消息,同时为操作提供维护此类系统所需的工具, 也可用于任务调度。Celery 的配置比较麻烦,如果你只是需要一个轻量级的调度工具,Celery 不会是一个好选择。

        Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(async task)和定时任务(crontab)。 异步任务比如是发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作 ,定时任务是需要在特定时间执行的任务。

注意:celery本身并不具备任务的存储功能,在调度任务的时候肯定是要把任务存起来的,因此在使用celery的时候还需要搭配一些具备存储、访问功能的工具,比如:消息队列、Redis缓存、数据库等。官方推荐的是消息队列RabbitMQ,有些时候使用Redis也是不错的选择。

8、使用windows自带的定时任务

        略。这儿不做细述!

来源地址:https://blog.csdn.net/weixin_44799217/article/details/127352531

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯