Python Web编程,Django框架 -- (9) 缓存 Redis RabbitMQ 使用

  1. Rabbitmq 内部结构:
image.png
  • Message

消息,消息是不具名的,由消息头和消息体组成,消息体是不透明的,而消息头是由一些列的可选属性组成,包括 routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出消息可能需要持久性存储)等

  • Publisher

消息的生产者,也是一个向交换器发布消息的客户端应用程序。

  • Exchange

交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。

  • Binding

绑定,用于消息队列和交换器之间的关联,一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。

  • Queue

消息队列,用来保存消息直到发送给消费者。这是消息的容器,也是消息的终点,一个消息可以投入一个或多个队列,消息一直在队列里面,等待消费者连接到这个队列将其取走。

  • Connection

网络连接, TCP 连接

  • Channel

信道,多路复用来南街中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁TCP都是非常昂贵的开销,所以引入信道的概念,在一个TCP连接内建立多个信道,以复用一条TCP连接。

  • Consumer

消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。

  • Virtual Host

虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同身份认证和加密环境的独立服务器域。每个vhost本质上就是一个mini版的rabbitmq服务器,拥有自己的队列、交换器、绑定和权限机制。 vhost 是AMQP概念的基础,必须在连接时指定,RabbitMQ默认的vhost是 /。

  • Broker

代理人,飙戏消息队列服务器实体。

  1. RabbitMQ的消息路由,常用架构:
image.png
  • 1 和 2 为 队列模式,3, 4 为 发布-订阅模式。
  1. Python操作 Rabbitmq
  • pip install pika

  • 队列方式:

  • 生产者代码:

# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数  virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
# 声明消息队列, 建议在生产者与消费者两边同时声明,如果不存在会自动创建,如果已存在,则直接使用
# durable=True  表示队列持久化
channel.queue_declare(queue='direct_demo', durable=False)
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
channel.basic_publish(exchange='', routing_key='direct_demo',
                      body='again')
# 关闭与 rabbitmq server 的连接
connection.close()
  • 消费者代码:
# 消费者代码
import pika
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.queue_declare(queue='direct_demo', durable=False)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
    # 手动发送确认消息,当生产者需要消费者进行消息确认时
    # ch.basic_ack(delivery=method.delivery_tag)
    # 实现如何处理消息
    print(body.decode())
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume('direct_demo', on_message_callback=callback)
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
  • 分发者模式:一个生产者,多个消费者

生产者 代码不变,只是改变了 队列 和 消息 持久化参数。

消费者会以轮询的方式进行消费,代码也可以不变,不过为了能看到轮询的效果,增加了 sleep 时间。另外 增加 prefetch_count 参数,当消费者出现问题或者消费比较慢时,则不再向该消费者发送消息。

# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数  virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
# 声明消息队列, 建议在生产者与消费者两边同时声明,如果不存在会自动创建,如果已存在,则直接使用
# durable=True  表示队列持久化
channel.queue_declare(queue='task_queue', durable=True)
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
for i in range(6):
    message = f'send message to taskqueue: {i}'
    channel.basic_publish(exchange='',
                          routing_key='task_queue',
                          body=message,
                          properties=pika.BasicProperties(
                              delivery_mode=2,   # 消息持久化
                          ))
# 关闭与 rabbitmq server 的连接
connection.close()
# 消费者代码
import pika
import time
import random
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.queue_declare(queue='task_queue', durable=True)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
    rand_int = random.randint(0, 6)
    print(rand_int)
    time.sleep(rand_int)
    # 实现如何处理消息
    print(body.decode())
    ch.basic_ack(delivery_tag=method.delivery_tag)
# 如果消费者的channel上未确认的消息数达到了prefectch_count 数,则不想该消费者发送消息
channel.basic_qos(prefetch_count=1)
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume('task_queue', on_message_callback=callback)
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
  • 并行消费模式。 发布-订阅模式,需要增加 exchange

生产者代码:声明交换机,并且交换机类型为 fanout,不需要声明 queue

消费者代码:声明交换机,并且交换机类型为 fanout,声明queue,名称为空,为产生默认名称,并且设置参数 exclusive,表示当断开连接时则删除queue。最后与exchange一起绑定到channel

注意: 消费者如果想消费,必须在 生产者消费产生内容之前(exchange不保存消息)就绑定到交换机,否则 消息不会发送到这个队列。

# 生产者代码
import pika
# 用户名 和 密码登录, 建议不同的业务 创建不同的用户名和密码
credentials = pika.PlainCredentials('guest', 'guest')
# 虚拟队列需要指定参数  virtual_port,如果是默认的,可以不填。
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=credentials)
#创建连接,阻塞方法
connection = pika.BlockingConnection(parameters)
# 建立信道
channel = connection.channel()
channel.exchange_declare(exchange='logs',
                         exchange_type='fanout')
# exchange 指定交换机
# routing_key 指定队列名
# body 要填入到队列中的内容
for i in range(6):
    message = f'send message to taskqueue: {i}'
    channel.basic_publish(exchange='logs',
                          routing_key='',
                          body=message,
                          )
# 关闭与 rabbitmq server 的连接
connection.close()
# 消费者代码
import pika
import time
import random
# 以下同生产者代码
crendential = pika.PlainCredentials('guest', 'guest')
parameters = pika.ConnectionParameters(host='192.168.246.129',
                                       port=5672,
                                       virtual_host='/',
                                       credentials=crendential)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()
channel.exchange_declare(exchange='logs',
                         exchange_type='fanout'
                         )
# 声明消息队列,这里没有指定 queue 的名称,会自动生成一个名称。
# exclusive,当与消费者断开连接的时候,队列被立即删除
result = channel.queue_declare(queue='',
                               exclusive=True)
queue_name = result.method.queue
# 通过 bind 实现exchange,将message 消息发送到指定的queue
channel.queue_bind(exchange='logs',
                   queue=queue_name)
# 回调函数,当消费者拿到队列中的数据后进行的操作, 四个参数为固定参数
def callback(ch, method, properties, body):
    rand_int = random.randint(0, 6)
    print(rand_int)
    time.sleep(rand_int)
    # 实现如何处理消息
    print(body.decode())
# 如果消费者的channel上未确认的消息数达到了prefectch_count 数,则不想该消费者发送消息
channel.basic_qos(prefetch_count=1)
# 确认消费者使用哪个队列以及回调函数
channel.basic_consume(queue=queue_name, on_message_callback=callback, auto_ack=True)  # 消费者自动进行确认,不需要手动确认。
# 开始接收消息,并进入阻塞状态,无限循环。
channel.start_consuming()
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,423评论 6 491
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,147评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,019评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,443评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,535评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,798评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,941评论 3 407
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,704评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,152评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,494评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,629评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,295评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,901评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,742评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,978评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,333评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,499评论 2 348

推荐阅读更多精彩内容