数据库迁移的两种方式

因为数据库常常会有线上和线下的区分,有的时候会涉及到数据库的迁移,线上迁移到线下或者线下迁移到线上,最近有用到两种迁移方式,故在此作出总结。

方法一:用python脚本实现读写

思路:需要涉及到两个库的连接,从库A进行数据的读,然后往库B进行数据写入

脚本如下:

import pymysql

# 原始数据的数据连接

db1 = pymysql.connect(db='****', user='root', passwd='xxxx', host='127.0.0.1', port=3306,

                          charset='utf8')

cursor1 = db1.cursor()

# 定义每次读取的数量

sele_len = 10000

# 要读取的总数量

cursor_num = 17651480

for_time = int(cursor_num/sele_len)+1

for wan_nums in range(for_time):

    print('第{}万数据,已经导出'.format(wan_nums))

    len1 = cursor1.execute(

        'select enterprise_name,rigister_code from company_task s where [s.id](http://s.id/) >{} and s.id<{}'.format(wan_nums * sele_len,

                                                                               (wan_nums + 1) * sele_len))

    # 迁移库的数据连接

    db2 = pymysql.connect(db='****', user='****', passwd='*****', host='127.0.0.1', port=3308,

                          charset='utf8')

    cursor2 = db2.cursor()

    # 批量插入语句

    sql = 'insert into table(task_id,enterprise_name,rigister_code) value(uuid(), %s, %s)'

    # 每次循环导入的数据量

    num = 1000

    for i in range(int(len1 / num)):

        print('第{}万数据中的{}千正在入库'.format(wan_nums,i))

        data1 = cursor1.fetchmany(num)

        try:

            # try:

            cursor2.executemany(sql, data1)

        except Exception as e:

            print(e)

            print(data1)

            continue

    # 把剩下的数据一次性导入

    data2 = cursor1.fetchall()

    try:

        cursor2.executemany(sql, data2)

    except:

        print(e)

        print(data2)

        continue

    [db2.commit](http://db2.commit/)()

# 这种可以全部导入

# data2 = cursor1.fetchall()

# cursor2.executemany(sql, data2)

# 关闭数据库连接

db1.close()

db2.close()

该方法从线上读取速度很快但是往线上导入速度会巨慢,那有没有更好的方案呢?答案当然是有

方法二:通过第三方工具使用mysqldump来进行更快速的插入,这里我选择的工具是

datagrip

第一步导出:

image.png

点击之后不需要做额外的设置只需要将内容的output地址改为你想存放的地址

第二步导入:

到你需要导入的库中进行如下操作:

image.png

等就好啦,但是用这个工具的时候出现了插入报错:

ERROR 1273 (HY000) at line 25: Unknown collation: 'utf8mb4_0900_ai_ci'

仔细研究发现这个问题出现的原因是线上和线下的数据库版本不一致导致的

注:(以下摘自互联网,虽然不是很一致但是情况差不多)

MySQL 5.6 以及以上版本下,安装 WordPress 4.6 及以上版本的时候,默认的编码整理方式为 utf8mb4_unicode_520_ci,但是 MySQL 5.5 及以下版本的数据库,不支持 utf8mb4_unicode_520_ci,所以无法导入。

处理方式:

用sublime打开你所保存的sql文件:

command+f utf8mb4_0900_ai_ci

还真的有:

image.png

然后command shift f 将utf8mb4_0900_ai_ci 改为utf8mb4_unicode_ci进行替换并保存退出
进行替换并保存退出

整个过程会异常的慢,因为你的sql文件动辄几个g,慢慢等着
测试了一下ultra edit 比sublime要快好多,就和打开普通文件一样快,所以建议使用ultra edit

然后再重新导入就OK了!!!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353

推荐阅读更多精彩内容