date -> AutoPartitionByDate

以每24小时作为一份时间(而非自然日),根据用户的配置有两种工作模式:带状模式中,用户仅定义开始日期时,从开始日期(含)开始,每份时间1个分片地无限增加下去;环状模式中,用户定义了开始日期和结束日期时,以结束日期(含)和开始日期(含)之间的时间份数作为分片总数(分片数量固定),以类似取模的方式路由到这些分片里。

PartitionByDate带状模式工作示意图
  1. DBLE启动时,读取用户在rule.xml配置的sBeginDate来确定起始时间
  2. 读取用户在rule.xml配置的sPartionDay来确定每个MySQL分片承载多少天内的数据
  3. 读取用户在rule.xml配置的dateFormat来确定分片索引的日期格式
  4. 在DBLE的运行过程中,用户访问使用这个算法的表时,WHERE子句中的分片索引值(字符串),会被提取出来尝试转换成Java内部的时间类型
  5. 然后求分片索引值与起始时间的差,除以MySQL分片承载的天数,确定所属分片
PartitionByDate环状模式工作示意图
  1. DBLE启动时,读取用户在rule.xml配置的起始时间sBeginDate、终止时间sEndDate和每个MySQL分片承载多少天数据sPartionDay
  2. 根据用户设置,建立起以sBeginDate开始,每sPartionDay天一个分片,直到sEndDate为止的一个环,把分片串联串联起来
  3. 读取用户在rule.xml配置的defaultNode
  4. 在DBLE的运行过程中,用户访问使用这个算法的表时,WHERE子句中的分片索引值(字符串),会被提取出来尝试转换成Java内部的日期类型
  5. 然后求分片索引值与起始日期的差:如果分片索引值不早于sBeginDate(哪怕晚于sEndDate),就以MySQL分片承载的天数为模数,对分片索引值求模得到所属分片;如果分片索引值早于sBeginDate,就会被放到defaultNode分片上
  • 开发注意点

    • 【分片索引】1,必须是字符串,而且java.text.SimpleDateFormat能基于用户指定的dateFormat来转换成java.util.Date
    • 【分片索引】2,提供带状模式和环状模式两种模式
    • 【分片索引】3,带状模式以sBeginDate(含)起,以86400000毫秒(24小时整)为一份,每sPartionDay份为一个分片,理论上分片数量可以无限增长,但是出现sBeginDate之前的数据而且没有设定defaultNode的话,会路由失败(如果有defaultNode,则路由至defaultNode)
    • 【分片索引】4,环状模式以86400000毫秒(24小时整)为一份,每sPartionDay份为一个分片,以sBeginDate(含)到sEndDate(含)的时间长度除以单个分片长度得到恒定的分片数量,但是出现sBeginDate之前的数据而且没有设定defaultNode的话,会路由失败(如果有defaultNode,则路由至defaultNode)
    • 【分片索引】5,无论哪种模式,分片索引字段的格式化字符串dateFormat由用户指定
    • 【分片索引】6,无论哪种模式,划分不是以日历时间为准,无法对应自然月和自然年,且会受闰秒问题影响
  • 运维注意点

    • 【扩容】1,带状模式中,随着sBeginDate之后的数据出现,分片数量的增加无需再平衡
    • 【扩容】2,带状模式没有自动增添分片的能力,需要运维手工提前增加分片;如果路由策略计算出的分片并不存在时,会导致失败
    • 【扩容】3,环状模式中,如果新旧[sBeginDate,sEndDate]之间有重叠,需要进行部分数据迁移;如果新旧[sBeginDate,sEndDate]之间没有重叠,需要数据再平衡
  • 配置注意点

    • 【配置项】1,在rule.xml中,可配置项为<property name="sBeginDate">、<property name="sPartionDay">、<property name="dateFormat">、<property name="sEndDate">和<property name="defaultNode">
    • 【配置项】2,在rule.xml中配置<property name="dateFormat">,符合java.text.SimpleDateFormat规范的字符串,用于告知DBLE如何解析sBeginDate和sEndDate
    • 【配置项】3,在rule.xml中配置<property name="sBeginDate">,必须是符合dateFormat的日期字符串
    • 【配置项】4,在rule.xml中配置<property name="sEndDate">,必须是符合dateFormat的日期字符串;配置了该项使用的是环状模式,若没有配置该项则使用的是带状模式
    • 【配置项】5,在rule.xml中配置<property name="sPartionDay">,非负整数,该分片策略以86400000毫秒(24小时整)作为一份,而sPartionDay告诉DBLE把每多少份放在同一个分片
    • 【配置项】6,在rule.xml中配置<property name="defaultNode">标签,非必须配置项,不配置该项的话,用户的分片索引值没落在mapFile定义的范围时,DBLE会报错;若需要配置,必须为非负整数,用户的分片索引值没落在mapFile定义的范围时,DBLE会路由至这个值的MySQL分片
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,637评论 18 139
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,856评论 25 707
  • 《高性能MySQL》&《MySQL技术内幕 InnoDB存储引擎》笔记 第一章 MySQL架构与历史 MySQL的...
    xiaogmail阅读 12,747评论 0 39
  • 伴着蒋勋的声音写稿至傍晚,从生活美学,听到情欲孤独,从细说红楼到拥抱梵谷(即画家梵高),有很多瞬间,在他娓娓道来的...
    惟念惟念阅读 851评论 0 1
  • 光阴的故事里 有凉皮的味道 揉一揉白白的面 洗一洗成团的面 于是,筋,粉分离 于是,各自有了各自的去处 粉,变成了...
    清恋1993阅读 546评论 2 3