一个多平台,轻巧,高性能mysql数据同步补偿工具发布-cupid

简介

cupid-go是一个消息同步补偿工具,多平台,高性能,内存小,适用于在canal这类的实时同步数据中间件之外的同步补偿工具,也适用于实时缓存这类的及时更新工具,对数据同步进行双保险,一般canal的延迟在毫秒左右,cupid建议设置在秒左右,做补偿专用,canal的消费端嵌入业务代码可以更方便开发和消费,cupid作为更通用的补偿方案,所以建议不要嵌入业务代码,补偿机制采用http回调来保证,失败会重试直到成功,若回调失败会通知(目前采用pushbear微信即时通知,简单即时)。

项目采用go编写,并且已打包好windows,linux,mac 版本,可直接到项目里直接下载使用,文件大小大约2M左右,占用内存10M左右,即下即用,不依赖环境。
cupid-go,mac-windows,linux下载地址

项目压测

对线上520w的表数据进行测试,大约25分钟处理加回调完成(回调完全成功不存在重试),内存消耗维持在10MB以下,vmRSS在11MB左右

项目地址

cupid-go

项目使用

只需按照模版根据自身需要修改一个json文件,然后启动即可
模版文件大致如下

{
    "workerNumber": 3, //最低值3,前2个进程是manager和callback进程,之后的才是处理进程
    "logDir": "/tmp", //日志目录,进程日志会打印到该目录下
    "failureJobRetrySecond": 10,  //失败队列重试间隔
    "src": {
        "dsn": "user:password@tcp(127.0.0.1:3306)/db?charset=utf8",//数据库dsn配置
        "table": "user",//我们关注的数据库表
        "byColumn": "number",//通过该字段对应des的byColumn,进行比对
        "insert": true, //是否关注insert的数据
        "insertIntervalMillisecond": 2000, //检查insert更新的间隔时间,单位毫秒
        "update": true, //是否关注update数据,若为false,则下面update开头的字段可以不用
        "updateColumn": "update_time", //update为true时必填,更新的字段名,需要添加索引,不然会扫描全表
        "updateIntervalMillisecond": 2000, //update为true时必填,检查update更新的间隔时间,单位毫秒
        "updateScanSecond": 5, //update为true时必填,获取数据的时间间隔,当前时间减去updateScanSecond设的时间为开始时间,当前时间为结束时间
        "updateTimeFormate": "Y-m-d H:i:s", //update为true时必填,数据库里数据更新字段的时间格式
        "cacheFilePath": "/tmp", //若进程有异常退出或者重启,会把当前的遍历信息记录到缓存文件中,重启时直接读取缓存文件
        "pushbearSendKey": "9724-73bdacb319007f53f83d0123"//若需要pushbear推送微信消息,在这填写
    },
    "des": [//des是一个数组,意味着我们可同时比对多个数据表
        {
            "dsn": "user:password@tcp(127.0.0.1:3306)/db2?charset=utf8",//数据库dsn配置
            "table": "user",//我们同步的数据库表
            "columns": { //关注和同步表的字段对应关系
                "number": "number",
                "name": "name",
                "avatar": "avatar"
            },
            "byColumn": "number",//与src的byColumn相呼应,形成关联关系来比对
            "callbackNotification": {
                "url" : "127.0.0.1:20000/test/callback"//当数据不同步时的回调地址
            }

        }
    ]
}

在项目里有一个testConfig.json文件,可直接修改使用

启动命令

./cupid -c /tmp/myConfig.json -s 1
  • -c 或者--configPath(必须): config配置的路径,需要绝对路径 ,对config配置有问题可以看文档或者testConfig.json
  • -s或者--startId(非必须): 起始的数据库表id, 优先级: shell命令传入的start_id > 默认值1

帮助命令

./cupid -h

数据重试

当数据回调失败或处理失败时,会将数据放入失败队列,等待重试,若此时进程退出,数据会持久化到硬盘中,等待下次启动重试

进程正常退出或异常退出

会将所有失败队列里的任务持久化到本地文件中,以便下次启动时重新推入失败队列重试,持久化配置参见config.json

错误数据回调

当数据比对后发现数据存在异常时,会采用http回调,需要在json里配置,回调采用的是POST形式,Content-Type 为 application/json

{
    "type" : 1, 
    "srcColumn" : {
        "column1": "1",
        "column2": "2",
        "column3": null
    }
}
  • type, 指的是变更类型,insert是1,update是2
  • srcColumn, 指的是源数据列,会把整个源数据传给你, 需要注意的一点 srcColumn传的值若有的都是string类型,没有则是null

微信推送

微信推送采用pushbear, 一个基于微信模板的一对多消息送达服务,使用简单,高效,只需要申请一个key即可。

pushbear官网

supervisord 管理

该项目比较适合搭配supervisord使用,基本上配置文件应该如下

[program:cupid.synchronization-compensation-tool]
directory=/tmp
command=/tmp/cupid -c /tmp/myConfig.json -s 1
numprocs=1
autorestart=true
stopsignal=TERM
stopwaitsecs=2
killasgroup=true
user=nobody
stdout_logfile=/tmp/cupid.synchronization-compensation-tool.log
redirect_stderr=true
loglevel=debug

如果你不用supervisord, 建议重启进程时使用kill -s SIGTERM $master_pid

注意事项

  • config.json里的updateColumn,需要先添加索引,不然会扫描全表
  • 回调接口时,传的srcColumn, 指的是源数据列,会把整个源数据传给你, 需要注意的一点 srcColumn传的值若有的都是string类型,没有则是null
  • 所有在自定义时间间隔失败重试队列超过三次仍未成功的任务会推送到10分钟重试队列里

最后

  • 求各位大大的 爱心 和 star
  • 若有任何问题可直接评论,私信或者github
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容