Redis是一个基于内存的键值对存储系统,常用作数据库、缓存和消息代理。它支持字符串、字典、列表、集合、有序集合、位图、地理位置、HyperLogLog等多种数据结构,所以常常被称作为数据结构服务器。Redis支持事务、切片、主从复制,支持RDB(将内存中的数据保存在文件中)和AOF(类似于MySQL的binlog)两种持久化方式,还支持订阅分发、Lua脚本、集群(Redis3.0加入的功能)等特性。接下来记录一下在Python中操作Redis:
安装Redis
sudo apt-get install redis-server
安装redis模块
sudo pip install redis
配置redis.conf
redis.conf目录:/etc/redis/redis.conf
将
bind 127.0.0.1
改为:
bind 0.0.0.0
使用如下命令使配置生效:
redis-server /etc/redis/redis.conf
操作模式
redis-py提供提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py
import redis
# "192.168.10.10"为远程Redis地址,port为Redis默认端口号
client = redis.Redis(host="192.168.10.10",port=6379)
# 存储键值对
client.set("name","python")
# 取出key为"name"的键对应的值
client.get("name")
连接池
redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池
import redis
pool = redis.ConnectionPool(host="192.168.10.10",port=6379)
r = redis.Redis(connection_pool=pool)
result = r.get("info")
常见操作
字符串相关操作
-
set(name,value,ex=None,px=None,nx=False,xx=False):设置键值
- name:键
- value:值
- ex:过期时间(秒)
- px:过期时间(毫秒)
- nx:True时,name不存在才会执行set操作
- xx:True时,name存在才会执行set操作
-
get(name):获取键值
- name:键
-
setnx(name,value):设置键值(name不存在则设置,否则不做操作)
- name:键
- value:值
-
setex(name,value,time):设置键值(name存在会覆盖)
- name:键
- value:值
- time:过期时间(秒)
-
psetex(name,time_ms,value):设置键值(name存在会覆盖)
- name:键
- time_ms:过期时间(毫秒)
- value:值
mset(args,kwargs)*:批量设置键值
-
mget(keys,args)*:批量获取键值
- keys:键列表
- args:键元组
-
getset(name,value):获取旧值并设置新值
- name:键
- value:新值
-
setrange(name,offset,value):修改键值
- name:键
- offset:起始位置(从此位置开始修改),若name不存在,且offset>0,则在前面补上offset个0x00,再加上value,为name的新值
- value:值
-
getrange(name,start,end):获取值并截取
- name:键
- start:起始位置(字节),包含起始位置
- end:结束位置(字节),包含结束位置
setbit(name,offset,value):对name对应的值的二进制位进行操作
getbit(name,offset):对name对应的值的二进制位进行操作
-
strlen(name):获取name对应值的长度
- name:键
-
incr(name,amount):name不存在,则name=amount,name存在,则name对应的值+amount
- name:键
- amount:自增值
-
decr(name,amount):name不存在,则name=amount,name存在,则name对应的值-amount
- name:键
- amount:自减值
-
append(key,value):在key对应的值后面追加value
- name:键
- value:追加的值
-
hset(name,key,value):存储字典
- name:键
- key:字典的key
- value:字典的值
-
hget(name,key):获取name对应的字典中对应key的值
- name:键
- key:字典的key
-
hmset(name,mapping):存储字典
- name:键
- mapping:字典,如:{“info”:”shenzhen”,”age”:18}
-
hmget(name,keys,args)*:获取字典的值
- name:键
- keys:字典键,如:hmget(“name”,[“info”,”age”])
- args:字典键,如:hmget(“name”,”info”,”age”)
-
hgetall(name):获取字典(dict格式)
- name:键
-
hlen(name):获取字典的长度
- name:键
-
hkeys(name):获取字典的所有key
- name:键
-
hvals(name):获取字典的所有value
- name:键
-
hexists(name,key):name对应的字典中是否存在键key
- name:键
- key:字典的key
-
hdel(name,args)*:删除name对应的字典中的键值对
- name:键
- args:字典的key元组
-
hincrby(name,key,amount):name对应的字典中,若key存在,则key对应的值+amount,否则key=amount
- name:键
- key:字典中key
- amount:自增值(整数)
-
hincrbyfloat(name,key,amount):name对应的字典中,若key存在,则key对应的值+amount,否则key=amount
- name:键
- key:字典中key
- amount:自增值(浮点数)
-
hscan(name,cursor=0,match=None,count=None):迭代式获取,对于数据大的数据非常有用,hscan可以实现分片式获取,避免一次性获取完毕,将内存称爆
- name:键
- cursor:游标
- match:匹配的key,默认None,表示所有的key
- count:每次分片最少获取个数,默认None表示采用Redis默认分片个数
# 第一次
cursor1,data = r.hscan("province",cursor=0)
# 第二次
cursor2,data = r.hscan("province",cursor=cursor1)
...
依次迭代,当返回的游标值为0时表示全部获取完毕,值得注意的是只有当"province"对应的字典中含有大量数据时,redis才会有采取分片操作(大概在513条数据左右)
-
hscan_iter(name,match,count):利用yield封装hscan创建生成器,实现分批去redis中获取数据
- name:键
- match:匹配的key,默认None,表示所有的key
- count:每次分片最少获取个数,默认None表示采用Redis默认分片个数
列表相关操作
-
lpush(name,value)*:存储列表(往前(左)插入)
- name:键
- value:值,格式:11,22,33。值越后,在列表中存储的位置越前
-
rpush(name,value)*:存储列表(往后(右)插入)
- name:键
- value:值,格式:11,22,33。值越后,在列表中存储的位置越后
-
lpushx(name,value):在name对应的list中添加元素,name不存在不操作
- name:键
- value:值。值添加到列表的最前面
-
llen(name):获取name对应的list的长度
- name:键
-
linsert(name,where,refvalue,value):在name对应的list中refvalue的前后插入value
- name:键
- where:before或after
- refvalue:list中的某个值,与where配合确定位置后插入value
- value:插入的值
-
lset(name,index,value):修改name对应的list中指定位置的值
- name:键
- index:索引位置
- value:值
-
lrem(name, count, value):删除name对应的list中的指定值
- name:键
- count:0:删除所有配到的指定值;count为正数时:从匹配到该值的位置时,删除count个;count为负数时:从后往前匹配,从匹配到该值的位置时,删除count个
- value:删除的指定值
-
lpop(name):删除name对应的list中的第一个值
- name:键
-
lindex(name,index):获取name对应的list中指定位置的值
- index:索引位置
-
lrange(name,start,end):获取name对应的list中切片后的值
- name:键
- start:起始位置(包括)
- end:结束位置(包括)
-
ltrim(name,start,end):移除name对应的list中,不在start-end之间的值
- name:键
- start:起始位置(包括)
- end:结束位置(包括)
-
rpoplpush(src,dst):移除src对应的list中最右边(即最后)的元素,并将其加到dst中对应list的最左边(即最前)
- src:键
- dst:键
-
brpoplpush(src,dst,timeout=0):移除src对应的list中最右边(即最后的元素),并将其加到dst中对应list的最左边(即最前)
- src:键
- dst:键
- timeout:当src没有值,阻塞!阻塞时间
集合相关操作
-
sadd(name,value):添加集合
- name:键
- value:值
-
scard(name):获取集合元素的个数
- name:键
-
sdiff(keys,args)*:获取多个集合的差集
- kyes:键
- args:键
-
sdiffstore(dest,keys,args)*:获取keys对应集合,与args中多个集合的差集,并将其设置为dest对应的集合
- dest:键
- keys:键
- args:键,若args为空,dest对应的集合则为keys对应的集合
-
sinter(keys,args)*:获取多个集合的交集
- keys:键
- args:键
-
sinterstore(dest,keys,args):获取keys对应集合,与args中多个集合的交集,并将其设置为dest对应的集合
- dest:键
- keys:键
- args:键,若args为空,dest对应的集合则为keys对应的集合
-
sismember(name,value):判断value是否name对应集合中的成员
- name:键
- value:值
-
smembers(name):获取name对应的集合
- name:键
-
smove(src,dst,value):将src中对应集合中的value移动到dst对应的集合的最左边(即最前面)
- src:键
- dst:键
- value:值
-
spop(name):移除name对应集合中最右边(即最后面)的元素
- name:键
-
srandmember(name,number=None):获取name对应集合中随机元素
- name:键
- number:获取number个元素,默认取一个元素
-
srem(name,values)*:删除name对应集合中的某些元素
- name:键
- values:值
-
sunion(keys,args)*:获取多个集合的并集
- keys:键
- args:键
有序集合相关操作
-
zadd(name,args,kwargs)*:在name对应的有序集合中添加元素,分数越小,越靠前
- name:键
- args:键值对,例如:’n1’,1,’n2’,2
- kwargs:键值对,例如:’n1’=1,’n2’=2
-
zcard(name):获取name对应的有序集合的元素个数
- name:键
-
zcount(name,min,max):获取name对应的有序集合中,min<=分数<=max中的元素个数
- name:键
- min:小值(分数)
- max:大值(分数)
-
zincrby(name,value,amount):自增name对应的有序集合中,value对应的分数+amount,若value不存在,则插入value=amount
- name:键
- value:值
- amount:分数自增值
-
zrange(name,start,end,desc=False,withscores=False,score_with_func=float):获取name对应的有序集合中,start<=下标<=end的所有数据。
- name:键
- start:起始位置
- end:结束位置
- desc:是否是倒序,默认False
- withscores:是否获取分数,默认False
- score_with_func:分数类型
-
zrank(name,value):获取value在name对应的有序集合中的下标
- name:键
- value:值
-
zrem(name,values)*:删除在name对应的有序集合中value对应的分数
- name:键
- values:值,如:values=”n1”,”n2”
-
zremrangebyrank(name,min,max):删除在name对应的有序集合中,min<=下标<=max的数据
- name:键
- min:小(下标)
- max:大(下标)
-
zremrangebyscore(name,min,max):删除在name对应的有序集合中,min<=分数<=max的数据
- name:键
- min:小(分数)
- max:大(分数)
-
zscore(name,value):获取name对应的有序集合中value对应的分数
- name:键
- value:值
-
zinterstore(name,keys,aggregate=None):获取name对应的有序集合的交集,并使name指向这个交集
- name:键
- keys:多个有序集合的键的元组,例:keys=(“zlist1”,”zlist2”)
- aggregate:聚合操作,值可以是:”MAX”,”MIN”,”SUM”,当遇到值相同,分数不同时,可以对分数做操作:取大值、取小值或取和值
-
zunionstore(name,keys,aggregate=None):获取name对应的有序集合的并集,并使name指向这个并集
- name:键
- keys:多个有序集合的键的元组,例:keys=(“zlist1”,”zlist2”)
- aggregate:聚合操作,值可以是:”MAX”,”MIN”,”SUM”,当遇到值相同,分数不同时,可以对分数做操作:取大值、取小值或取和值
其他常用操作
-
delete(names)*:删除Redis中的任意数据类型
- names:键
-
exists(name):判断键是否存在
- name:键
-
keys(pattern=””)*:获取符合规则的所有键
- pattern:通配符,默认获取所有。常见:”h”:h结尾的键;”h”:h开头的键;”hx”:h开头,x结尾的键;”h[ae]x”:获取名为hax或hex的键
-
expaire(name,time):设置超时时间
- name:键
-
rename(src,dst):修改键名
- src:旧键名
- dst:新键名
-
move(name,db):将键移动至其他db
- name:键
- db:db序号
randomkey():随机获取key
-
type(name):获取键对应的数据类型
- name:键
管道
redis-py默认在执行每次请求都会创建(连接池申请链接)和断开(归还连接池)一次链接操作。如果想要在一次请求中指定多个命令,则可以使用pipeline实现一次请求指定多个命令
import redis
pool = redis.ConnectionPool(host="192.168.10.10",port=6379)
r = redis.Redis(connection_pool=pool)
pipe = r.pipeline(transaction=True)
pipe.set(name,value)
pipe.set(name2,value2)
pipe.execute()
设置密码
修改Redis的配置文件/etc/redis/redis.conf
requirepass 123456
需重启Redis生效
注意:redis的查询速度是非常快的,外部用户一秒内可以尝试多大150K个密码;所以密码要尽量长(对于DBA 没有必要必须记住密码);
Redis的优点
- Web应用中常需要将一些重要数据持久化到磁盘,避免宕机等原因导致数据丢失。Redis会周期性把更新的数据写入磁盘或者追加到命令日志中,并且在此基础上实现了主从同步。而Memcached在进程关闭之后数据就会丢失。
- 一些业务为了简化工作,需要使用列表、集合这样只有Redis才支持的数据结构。相对于Memcached,Redis有更多的应用场景
- Redis提供了丰富的命令。比如,可以通过通配符查看线上已经存在的键、判断一个键是否存在(Memcached这点很不方便,没有设置缓存和设置的缓存为Nong不好区分),方便的获取服务器信息和统计数值等。