大家好,我是IT修真院深圳分院第03期学员,一枚正直纯洁善良的程序员。今天给大家分享一下,修真院官网JAVA(职业)任务6的深度思考:
为什么要使用memcache?
背景介绍
1.为什么要使用缓存?
在大多数Web应用都将数据保存到关系型数据库中,WWW服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中,就会出现关系型数据的负担加重、数据库响应缓慢、网站打开延迟等问题。
通过在内存中缓存数据库的查询结果,减少数据访问次数,以提高动态Web应用的速度,提高网站架构的并发能力和可扩展性。
2.memcache是什么?为什么需要memcache(它的作用)?
使用memcache之前,每个服务器的缓存是分开的,总的容量等于单个服务器的缓存容量,还要分出精力去维护所有服务器上缓存的数据,让它们保存一致,如下图。
使用memcache之后:把每一个使用了缓存的服务器称作节点,memcache则是把这些节点组成一个节点池。 1.容量增大,总的容量是所有服务器缓存容量的总和。2.一个指定的数据的将在同一个节点上进行读写,不需要保持节点间的数据一致,如下图。
知识剖析
1.memcache到底是什么?
MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统,用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度。MemCaChe是一个存储键值对的HashMap,在内存中对任意的数据(比如字符串、对象等)所使用的key-value存储。
2.memcache的访问模型
看图说话
1.可以在同一个服务器上分出多个端口作为一个memcached节点
2.图中分为应用程序服务器和memcache服务器,也就是说,我们可以专门准备一个服务器,不装应用程序,只作为memcache服务器使用。
3.理一下MemCache一次写缓存的过程
service方法里传入需要写缓存的数据并规定key==》
客户端将key传到内部的路由算法模块==》
得到key对应HashCode==》
路由算法根据Key和Memcache几圈服务器列表得到一台服务器编号==》
由服务器编号得到MemCache的IP地址和端口号==》
客户端调用通信模块和指定编号的服务器通信,将数据写入该服务器。
4.MemCache的一次读缓存的过程
读缓存跟写缓存的步骤差不多。
路由算法
1、余数Hash算法
原理:假设key对应的HashCode是50,memcache服务器数目为3,取余数2,那么这个key对应节点node2。
优点:算法简单,能满足绝大多数的缓存路由需求。
缺点:扩容会导致get命中率大幅度下降。
下图中,红色字体表示get命中
2.一致性Hash算法
原理:先构造一个长度为232的证书换(这个环被称为一致性Hash环),根据节点名称的Hash值(值的分布范围为[0,232-1])把MemCache服务器节点放在这个Hsah环上,接着根据需要缓存的数据的Key对应的Hash值(值的分布范围也是[0,232-1]),然后在Hash环上顺时针查找距离这Key的Hash值最近的服务器节点,完成一次写操作。
优点:扩容方便,get命中率下降的不是很厉害。而且,节点数越多,每次扩容后get命中率下降越小。也就是说,你不用熬夜加班扩容、预热缓存。也就是说,你没有加班费了。
Memcache实现原理
首先要理解下面的一些概念:
1)MemCache的数据是存放在内存中的;
2)这里面涉及4个概念:slab_class,slab,page,chunk
3)MemCache将内存分为一组slab,每个slab下又有若干个page,每个page大小都是固定的1M;
4)每个page里面包含一组chunk,chunk是真正存放数据的地方,同一个slab里面的chunk大小是固定的;
5)有相同大小chunk的slb被组织在一起,被称为slab_class。
MemCache中的value过来存放的地方是由value的大小决定的,value总是会被存放到与chunk大小最接近的一个slab中,比如slab[1]的chunk大小为80字节、slab[2]的chunk大小为100字节、slab[3]的chunk大小为128字节(相邻slab内的chunk基本以1.25为比例进行增长,MemCache启动时可以用-f指定这个比例),那么过来一个88字节的value,这个value将被放到2号slab中。放slab的时候,首先slab要申请内存,申请内存是以page为单位的,所以在放入第一个数据的时候,无论大小为多少,都会有1M大小的page被分配给该slab。申请到page后,slab会将这个page的内存按chunk的大小进行切分,这样就变成了一个chunk数组,最后从这个chunk数组中选择一个用于存储数据。
Memcache常用命令
1.安装命令
memcache依赖于libevent,要先安装libevent才能安装memcache
2.启动命令
3.查看命令
stats 返回MemCache通用统计信息
stats items 返回哥哥slab中item的数目和最老的item的年龄(最后一次访问举例现在的秒数)
statsslabs 返回MemCache运行期间创建的每个slab的信息
常见问题
1.memcache和memcached的区别?
memcache是项目的名称,memcached是memcache服务器端可执行文件的名称。
2.memcache无可用连接?
解决思路:
确认服务器上的memcached服务有没有打开==》服务器用telnet看能不能连上memcached
本地用telnet连接服务器的memcached
重启服务器
今天的分享就到这里啦,欢迎大家点赞、转发、留言、拍砖~
技能树.IT修真院
“我们相信人人都可以成为一个工程师,现在开始,找个师兄,带你入门,掌控自己学习的节奏,学习的路上不再迷茫”。
这里是技能树.IT修真院,成千上万的师兄在这里找到了自己的学习路线,学习透明化,成长可见化,师兄1对1免费指导。快来与我一起学习吧。