文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

django开发傻瓜教程-3-celer

2023-01-30 22:37

关注

Ref:

https://www.jianshu.com/p/6f8576a37a3e

https://blog.csdn.net/Demo_3/article/details/78119951

https://blog.csdn.net/spur_man/article/details/79550917

https://my.oschina.net/37Y37/blog/1920149

http://docs.jinkan.org/docs/celery/getting-started/next-steps.html

https://www.ctolib.com/topics-130539.html#


 

为什么选择Celery

当前的需求是:我用form从前端拿到了提交的数据,由于需要处理一点时间(也许很多用户同时提请求呢)虽然感觉暂时想多了=.=

如果处理时间过长,那么一方面页面可能会超时,另一方面,用户等待太久也是不合适的。所以现在希望,在用户提交数据后,立刻就

能收到一个回复(比如说task ID),等到任务结束后,通知用户,用这个ID就可以获取结果(当然可以是服务器靠这个ID来输出结果)。

我也考虑过用ajax直接部分刷新页面,但是感觉对于长时间的并发任务,可能不是很合适(看到的ajax例子都是很简单的,不是很懂是不是不适合复杂的计算逻辑?)。总之,为了以后的发展,还是学一下水芹菜吧。

概念

Celery 的基本架构采用典型的生产者—消费者模式,主要由三部分组成:broker(消息队列)、workers(消费者:处理任务)、backend(存储结果)。Celery自己不提供消息服务,但是可以和提供消息服务的中间件集成。这里推荐的broker有RabbitMQ(官网推荐)和Redis。Workers可以并发地运行在分布式的节点上。
实际应用时,用户从 Web 前端发起一个请求,然后将请求所要处理的任务丢入 broker中,由空闲的 worker 去处理,处理的结果会暂存在后台数据库 backend 中。
处理场景

异步任务处理:例如给注册用户发送短消息或者确认邮件任务。

大型任务:执行时间较长的任务,例如视频和图片处理,添加水印和转码等,需要执行任务时间长。

定时执行的任务:支持任务的定时执行和设定时间执行。例如性能压测定时执行。

安装

pip install celery

为了让celery中执行任务的结果返回Django,再装一个

sudo pip install django-celery-results

使用redis做broker和backend,安装:

sudo apt-get install redis
sudo pip install redis

 如果apt-get有错误,请用下面的命令

sudo apt-get install redis --fix-missing

开启redis服务

redis-server

报错

我就知道不会一帆风顺的:)

解决:1. 找到redis-server进程,kill

2. 接着发现redis-server进程仍然存在,杀不掉:)

所以使用停止服务的命令。必要的话要用sudo。

/etc/init.d/redis-server stop

然后再重启redis-service即可

 现在正式来写Celery了。首先看一下目录结构:

配置阶段先改celery.py和__init__.py

# Celery.py
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery, platforms

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'probe.settings')

app = Celery('probe')

# Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

# Allow root user run celery
platforms.C_FORCE_ROOT = True

@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

__init__.py

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

然后进入根目录

celery worker -A probe -l info

你以为这样就可以了?报错:

这是因为我们的水芹找不到redis啊:)所以要修改上面的celery.py

# redis是broker和backend
app = Celery('probe', backend='redis', broker='redis://localhost')

现在来配置一下celery。上面的修改暂时取消,我们统一在settings.py里配置celery。

CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_BACKEND = 'redis'
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERYD_MAX_TASKS_PER_CHILD = '1'

  # celery在长时间运行后可能出现内存泄漏,需要添加这个配置,表示每个worker执行了多少个任务就死掉

# INSTALLED_APPS里再添加一个'django_celery_results'

然后migrate一下变化

python manage.py migrate django_celery_results

现在来真正写任务了:task.py

这个task.py在每个app下都要有,而且名称不能改变。

from __future__ import absolute_import, unicode_literals
from celery import shared_task

@shared_task
def longtime_test():
# 在这里写操作

然后在views.py里(我这里是把design2.py和主页design-post绑在一起的,所以我写到design2.py里去)

longtime_test.delay()

补一刀:

在design2.py里,我这么写(省略其他)这里只是简单测试一下:

import task

def design_post(request):
    ...
    if request.POST:
        result = task.longtime_test.delay(ctx['target_definition'], ctx['target_species'])
        while True:
            if result.ready():
                print "celery fried!"
                break;
    ...

事实上我第一次遇到了报错

当时写的是from task import longtime_test

我改成上面的写法之后,重启celery,就没有报错:celery正确输出字符串(毕竟我只做了字符串连接啊摊手)

而且django后台这里也正确反馈了(黄色标识)红色的是之前报错状态的显示。因为longtime_test函数一样返回了,所以还是会跳出循环。

 

 好了我现在要去写业务代码了,配置方面的任务暂时告一段落:)

 

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯