今天小编给大家分享一下celery怎么为不同异步任务分配不同worker的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。
背景：
之前所有的异步任务都由统一的一个worker来消费，这样有个问题，每次更新某个异步任务代码后，需要重启worker，如果有在运行的异步任务，那面重启后就暂停了，影响业务。
所以想到把不通的任务分配到不通的worker，如果更新某个任务代码，重启对应worker即可，不会影响其他业务。
开搞
1、配置celery，按正则匹配异步任务名，分配到指定消费队列
这里创建4个消费队列，release，job，sync，celery（默认）
匹配到sync_release的任务，会调度到release队列消费，以此类推，支持正则匹配
import re
# specify worker queue
# https://docs.celeryq.dev/en/latest/userguide/routing.html
app.conf.task_routes = ([
('cmapp.tasks.sync_release', {'queue': 'release'}),
(re.compile(r'.*(job*|Cdd*)'), {'queue': 'job'}),
(re.compile(r'.*(delay*|owncloud*)'), {'queue': 'sync'}),
(re.compile(r'.*(clean*|keycloak*)'), {'queue': 'celery'}),
],)2、启动消费队列
-Q指定消费队列名称
--hostname配置worker名
--concurrency配置最大并发
[program:q_release]
environment=ENV=production
directory=/opt/mmback
command=/opt/envs/env-mmweb/bin/celery -A mmback worker -l info --concurrency=20 -Q release --hostname=release@%%h
autorestart=true
autostart=truesupervisorctl update
可以看到已经有release任务在消费。
以上就是“celery怎么为不同异步任务分配不同worker”这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，小编每天都会为大家更新不同的知识，如果还想学习更多的知识，请关注编程网行业资讯频道。
