首页 > 其他 > 详细

Celery

时间:2019-02-18 22:44:08      阅读:318      评论:0      收藏:0      [点我收藏+]

1 . 什么是Celery ? 

Celery : 一个懂得异步任务,定时任务,周期任务的 芹菜 

Celery : 是基于1python实现的模块.用于执行异步定时周期任务的

其结构组成是由 : 

  1.用户任务 app

  2.管道 : 

    broker : 用于存储任务 , 官方推荐使用 redis  /  rabbitMQ

    backend : 用于存储任务执行结果的 

  3.员工 : worker 

 

2 . Celery的简单示例  

技术分享图片
from celery import Celery
import time

#创建一个Celery实例,这就是我们用户的应用app
my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")

# 为应用创建任务,func1
@my_task.task
def func1(x, y):
    # 让它睡15秒,这样看的清晰    
    time.sleep(15)
    return x + y
s1.py
技术分享图片
from s1 import func1

# 将任务交给Celery的Worker执行
res = func1.delay(2,4)

#返回任务ID
print(res.id)
s2.py
技术分享图片
from celery.result import AsyncResult
from s1 import my_task

# 异步获取任务返回值
async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task)

# 判断异步任务是否执行成功
if async_task.successful():
    #获取异步任务的返回值
    result = async_task.get()
    print(result)
else:
    print("任务还未执行完成")
s3.py

最终我们要执行的任务是在 s1.py 中,也就是worker需要执行的任务,所以worker就是 s1.py了

现在我们就来启动worker,如何启动呢
根据操作系统的不同,启动方式也存在差异:
  Linux - celery worker -A s1 -l INFO 
  Windows:这里需要注意的是celery 4.0 已经不再对Windows操作系统提供支持了,也就是在windows环境下出现问题除非自己解决,否贼官方是不会给你解决的

  G:\Flask练习\my> celery worker -A s1 -l INFO -P eventlet   (在pycherm的命令行)

  注意 : eventlet 是一个python的三方库 需要使用 pip安装 pip install eventlet

技术分享图片

启动完成,其实在s1.py当中,worker已经知道了自己的broker 和 backend 在哪里了
接下来就让异步任务开始执行吧,对了 s2.py 中就是使用 delay 的方式来开始执行的异步任务
执行 s2.py 得到了一个字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 这个字符串儿就是异步任务的ID
在Celery worker 的控制台中可以看到这个样子

技术分享图片

等待15秒之后就可以得到这样一个字符串 

技术分享图片

然后通过 s3.py修改异步任务的 ID 来获取任务返回结果 

技术分享图片

 

3 . Celery 项目目录 

 在实际项目中我们应用 Celery 是有规则的 . 

技术分享图片

要满足这样的条件才可以哦,目录 Celery_task 这个名字可以随意起,但是一定要注意在这个目录下一定要有一个 celery.py 这个文件 

技术分享图片
from celery import Celery

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])
# include 这个参数适用于寻找目录中所有的task
celery.py
技术分享图片
from .celery import celery_task
import time

@celery_task.task
def one(x,y):
    time.sleep(5)
    return f"task_one {x+y}"
task_one
技术分享图片
from .celery import celery_task
import time

@celery_task.task
def two(x,y):
    time.sleep(5)
    return f"task_two {x+y}"
task_two

 这样 Celery 项目目录结构就已经做好了,然后在 my_celery 中调用 

技术分享图片
from Celery_task.task_one import one
from Celery_task.task_two import two

one.delay(10,10)
two.delay(20,20)
my_celery.py

注意 : 启动 Worker的时候无需再使用文件启动,直接启动你的 Celery_task目录就可以.

  celery worker -A Celery_task -l INFO -P eventlet 

这样 celery 就可以自动的去检索当前目录下所有的 task 了,通过 include 这个参数逐一去寻找. 

 

4 . Celery 的定时任务 

 我们用的还是 Celery_task 这个实例 

在 my_celery 中进行一下小修改 

技术分享图片
from Celery_task.task_one import one
from Celery_task.task_two import two

# one.delay(10,10)
# two.delay(20,20)

# 定时任务我们不在使用delay这个方法了,delay是立即交给task 去执行
# 现在我们使用apply_async定时执行

#首先我们要先给task一个执行任务的时间
import datetime,time
# 获取当前时间 此时间为东八区时间
ctime = time.time()
# 将当前的东八区时间改为 UTC时间 注意这里一定是UTC时间,没有其他说法
utc_time = datetime.datetime.utcfromtimestamp(ctime)
# 为当前时间增加 10 秒
add_time = datetime.timedelta(seconds=10)
action_time = utc_time + add_time

# action_time 就是当前时间未来10秒之后的时间
#现在我们使用apply_async定时执行
res = one.apply_async(args=(10,10),eta=action_time)
print(res.id)
#这样原本延迟5秒执行的One函数现在就要在10秒钟以后执行了
my_celery

技术分享图片

定时任务只能被执行一次,那如果我想每隔10秒 都去执行一次这个任务怎么办? 这个时候就要用到周期任务的.

 

5 . Celery 的周期任务

 对 Celery_task 中的 celery.py 进行一点修改 

技术分享图片
from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])

#我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10)
celery_task.conf.beat_schedule={
    "each10s_task":{
        "task":"Celery_task.task_one.one",
        "schedule":10, # 每10秒钟执行一次
        "args":(10,10)
    },
    "each1m_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(minute=1), # 每一分钟执行一次
        "args": (10, 10)
    },
    "each24hours_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(hour=24), # 每24小时执行一次
        "args": (10, 10)
    }

}

#以上配置完成之后,还有一点非常重要
# 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet
celery.py

 创建 worker 的方式并没有发生变化,但是要注意的是 : 每隔一段时间后需要生产出来任务给 worker 去执行,整理需要一个生产者 beat 

celery beat -A Celery_task     # 创建生产者 beat 你的 schedule 写在哪里,就从哪里启动

技术分享图片

celery worker -A Celery_task -l INFO -P eventlet   

创建worker之后,每10秒就会由 beat 创建一个任务给 worker 去执行 

技术分享图片

 

Celery

原文:https://www.cnblogs.com/zmc940317/p/10398267.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!