celery安装配置(Windows)

  1. 安装RabbitMQ,会提示安装Erlang,按照提示即可。
  2. 确认RabbitMQ是否安装成功。
    a. 启动RabbitMQ Service
    b. 启动RabbitMQ Command Prompt (sbin dir),执行:rabbitmqctl status。报错如下:
    Status of node rabbit@DESKTOP-P6AC70L ...
    Error: unable to perform an operation on node 'rabbit@DESKTOP-P6AC70L'. Please see diagnostics information and suggestions below.
    
    Most common reasons for this are:
    
     * Target node is unreachable (e.g. due to hostname resolution, TCP connection or firewall issues)
     * CLI tool fails to authenticate with the server (e.g. due to CLI tool's Erlang cookie not matching that of the server)
     * Target node is not running
    
    In addition to the diagnostics info below:
    
     * See the CLI, clustering and networking guides on http://rabbitmq.com/documentation.html to learn more
     * Consult server logs on node rabbit@DESKTOP-P6AC70L
    
    DIAGNOSTICS
    ===========
    
    attempted to contact: ['rabbit@DESKTOP-P6AC70L']
    
    rabbit@DESKTOP-P6AC70L:
      * connected to epmd (port 4369) on DESKTOP-P6AC70L
      * epmd reports node 'rabbit' uses port 25672 for inter-node and CLI tool traffic
      * TCP connection succeeded but Erlang distribution failed
    
      * Authentication failed (rejected by the remote node), please check the Erlang cookie
    
    
    Current node details:
     * node name: 'rabbitmqcli60@DESKTOP-P6AC70L'
     * effective user's home directory: C:\Users\junwe
     * Erlang cookie hash: aXFZrVZ2A9gF0kkNeMhRXA==
    
    c. 搜索.erlang.cookie(应该有两个),用任意一个替换另外一个保证内容一致。
    d. 重装RabbitMQ Service - 运行RabbitMQ Service - (re)install
    e. 重复步骤a、b,可以看到RabbitMQ Service已经运行起来。
    f. 启动RabbitMQ Command Prompt (sbin dir),执行:rabbitmq-plugins enable rabbitmq_management
    g. 打开浏览器,输入http://127.0.0.1:15672,成功跳转至RabbitMQ管理界面。(不运行步骤f,页面无法访问)
  3. 安装celery。在python环境下执行:pip install celery
  4. 创建tasks.py:
    from celery import Celery
    import time
    
    app = Celery('tasks', backend='amqp', broker='amqp://')
    
    @app.task
    def add(x, y):
      time.sleep(5)
      return x + y
    
  5. 切到tasks.py目录下运行:celery -A tasks worker --loglevel=info
    提示错误:
      -------------- celery@iZev0nc46ircftZ v4.1.0 (latentcall)
      ---- **** -----
      --- * ***  * -- Windows-10-10.0.14393-SP0 2018-04-19 21:24:48
      -- * - **** ---
      - ** ---------- [config]
      - ** ---------- .> app:         tasks:0x213343e6630
      - ** ---------- .> transport:   amqp://guest:**@localhost:5672//
      - ** ---------- .> results:     disabled://
      - *** --- * --- .> concurrency: 2 (prefork)
      -- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
      --- ***** -----
       -------------- [queues]
                    .> celery           exchange=celery(direct) key=celery
      
      
      [tasks]
        . tasks.add
      
      [2018-04-19 21:24:48,634: ERROR/MainProcess] consumer: Cannot connect to amqp://guest:**@127.0.0.1:5672//: [WinError 10042] 在 getsockopt 或 setsockopt 调用中指定的一个未知的、无效的或不受支持的选项或层次。.
      Trying again in 2.00 seconds...
      
      [2018-04-19 21:24:49,322: INFO/SpawnPoolWorker-2] child process 2956 calling self.run()
      [2018-04-19 21:24:49,353: INFO/SpawnPoolWorker-1] child process 5768 calling self.run()
      [2018-04-19 21:24:50,697: ERROR/MainProcess] consumer: Cannot connect to amqp://guest:**@127.0.0.1:5672//: [WinError 10042] 在 getsockopt 或 setsockopt 调用中指定的一个未知的、无效的或不受支持的选项或层次。.
      Trying again in 4.00 seconds...
    
    Google后发现是有个bug,由于amqp的版本太低没有被修复:https://github.com/celery/py-amqp/pull/136。由于我是anaconda环境,运行conda update --all把所有的package都更新了一下。再运行celery -A tasks worker --loglevel=info就可以了。
  6. 在调用端运行如下代码:
    >>> from tasks import add
    >>> res = add.delay(4,4)
    >>> res.ready()
    False
    >>> res.ready()
    True
    >>> res.result
    8
    >>>
    
    切到celery的环境下看一下,发现报错了:
        The AMQP result backend is scheduled for deprecation in     version 4.0 and removal in version v5.0.     Please use RPC backend or a persistent backend.
    
      alternative='Please use RPC backend or a persistent backend.')
    [2018-04-20 16:27:26,581: INFO/SpawnPoolWorker-1] child process 4104 calling self.run()
    [2018-04-20 16:27:26,596: WARNING/SpawnPoolWorker-1] c:\programdata\anaconda3\lib\site-packages\celery\backends\amqp.py:68: CPendingDeprecationWarning:
        The AMQP result backend is scheduled for deprecation in     version 4.0 and removal in version v5.0.     Please use RPC backend or a persistent backend.
    
      alternative='Please use RPC backend or a persistent backend.')
    [2018-04-20 16:27:26,800: INFO/MainProcess] mingle: all alone
    [2018-04-20 16:27:26,846: INFO/MainProcess] celery@iZ15r2bhksa4s0Z ready.
    [2018-04-20 16:28:23,878: INFO/MainProcess] Received task: tasks.add[0a988088-95da-44a1-8c04-7c4581ad6f25]
    [2018-04-20 16:28:23,956: ERROR/MainProcess] Task handler raised error: ValueError('not enough values to unpack (expected 3, got 0)',)
    Traceback (most recent call last):
      File "c:\programdata\anaconda3\lib\site-packages\billiard\pool.py", line 358, in workloop
        result = (True, prepare_result(fun(*args, **kwargs)))
      File "c:\programdata\anaconda3\lib\site-packages\celery\app\trace.py", line 525, in _fast_trace_task
        tasks, accept, hostname = _loc
    ValueError: not enough values to unpack (expected 3, got 0)
    
    Google了一下发现celery 4.0版本后就放弃了对Windows的支持:https://github.com/celery/celery/issues/4178。找到一个workaround:
    1. pip install eventlet
    2. celery -A tasks worker --pool=eventlet
  7. 使用redis作为backend
    a. pip install redis
    b. 代码改为:app = Celery('tasks', broker='redis://127.0.0.1:6379/0', backend='redis://127.0.0.1:6379/0')
    c. 安装/启动redis server
    d. 重复步骤5、6
  8. 在两台机器上进行测试
    a. 修改tasks.py中的ip至rabbitmq/redis所在机器的公网网址
    b. 拷贝tasks.py到另外一个机器
    c. 在另外一个机器上执行pip install celery和pip install redis
    d. 重复步骤6
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,123评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,031评论 2 384
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,723评论 0 345
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,357评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,412评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,760评论 1 289
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,904评论 3 405
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,672评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,118评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,456评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,599评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,264评论 4 328
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,857评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,731评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,956评论 1 264
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,286评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,465评论 2 348

推荐阅读更多精彩内容