来比一比向 Mysql 数据库插入 100w 条数据用多久?

目录

1、多线程插入(单表)

2、多线程插入(多表)

3、预处理SQL

4、多值插入SQL

5、事务(N条提交一次)

多线程插入(单表)

如果大家对于学习Java有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我,这是我的Java交流学习群: 934623944大家多多交流问题,互帮互助,群里有不错的学习教程和开发工具。备注:简书

问:为何对同一个表的插入多线程会比单线程快?同一时间对一个表的写操作不应该是独占的吗?

答:在数据里做插入操作的时候,整体时间的分配是这样的:

1、多链接耗时 (30%)

2、多发送query到服务器 (20%)

3、多解析query (20%)

4、多插入操作 (10% * 词条数目)

5、多插入index (10% * Index的数目)

6、多关闭链接 (10%)

从这里可以看出来,真正耗时的不是操作,而是链接,解析的过程。

MySQL插入数据在写阶段是独占的,但是插入一条数据仍然需要解析、计算、最后才进行写处理,比如要给每一条记录分配自增id,校验主键唯一键属性,或者其他一些逻辑处理,都是需要计算的,所以说多线程能够提高效率。

多线程插入(多表)

分区分表后使用多线程插入。

预处理SQL

普通SQL:即使用Statement接口执行SQL

预处理SQL:即使用PreparedStatement接口执行SQL

使用PreparedStatement接口允许数据库预编译SQL语句,以后只需传入参数,避免了数据库每次都编译SQL语句,因此性能更好。

String sql = "insert into testdb.tuser (name, remark, createtime, updatetime) values (?, ?, ?, ?)";

for

(

int

i =

0

; i < m; i++) {

//从池中获取连接

Connection

conn = myBroker.getConnection();

PreparedStatement

pstmt = conn.prepareStatement(sql);

for

(

int

k =

0

; k < n; k++) {

        pstmt.setString(

1

,

RandomToolkit

.generateString(

12

));

        pstmt.setString(

2

,

RandomToolkit

.generateString(

24

));

        pstmt.setDate(

3

,

new

Date

(

System

.currentTimeMillis()));

        pstmt.setDate(

4

,

new

Date

(

System

.currentTimeMillis()));

//加入批处理

        pstmt.addBatch();

}

    pstmt.executeBatch();

//执行批处理

    pstmt.close();

    myBroker.freeConnection(conn);

//连接归池

}

多值插入SQL

普通插入SQL:INSERT INTO TBL_TEST (id) VALUES(1)

多值插入SQL:INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)

使用多值插入SQL,SQL语句的总长度减少,即减少了网络IO,同时也降低了连接次数,数据库一次SQL解析,能够插入多条数据。

事务(N条提交一次)

如果大家对于学习Java有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我,这是我的Java交流学习群: 934623944大家多多交流问题,互帮互助,群里有不错的学习教程和开发工具。备注:简书

在一个事务中提交大量INSERT语句可以提高性能。

1、将表的存储引擎修改为myisam 2、将 sql 拼接成字符串,每 1000 条左右提交事务。

执行多条SQL语句,实现数据库事务。 

mysql数据库 

多条SQL语句

public void ExecuteSqlTran(List<string> SQLStringList)

{


using

(

MySqlConnection

conn =

new

MySqlConnection

(connectionString))

    {


if

(

DBVariable

.flag)

        {

            conn.

Open

();


MySqlCommand

cmd =

new

MySqlCommand

();

            cmd.

Connection

= conn;


MySqlTransaction

tx = conn.

BeginTransaction

();

            cmd.

Transaction

= tx;


try

            {


for

(

int

n =

0

; n <

SQLStringList

.

Count

; n++)

                {


string

strsql =

SQLStringList

[n].

ToString

();


if

(strsql.

Trim

().

Length

>

1

)

                    {

                        cmd.

CommandText

= strsql;

                        cmd.

ExecuteNonQuery

();

                    }


//后来加上的 


if

(n >

0

&& (n %

1000

==

0

|| n ==

SQLStringList

.

Count

-

1

))

                    {

                        tx.

Commit

();

                        tx = conn.

BeginTransaction

();

                    }

                }


//tx.Commit();//原来一次性提交 

            }


catch

(

System

.

Data

.

SqlClient

.

SqlException

E)

            {

                tx.

Rollback

();


throw

new

Exception

(E.

Message

);

            }

        }

    }

}

10w条数据大概用时10s!

如果大家对于学习Java有任何问题(学习方法,学习效率,如何就业),可以随时来咨询我,这是我的Java交流学习群: 934623944大家多多交流问题,互帮互助,群里有不错的学习教程和开发工具。备注:简书

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,817评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,329评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,354评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,498评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,600评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,829评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,979评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,722评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,189评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,519评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,654评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,940评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,762评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,993评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,382评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,543评论 2 349

推荐阅读更多精彩内容

  • 特别说明: 1、本文只是面对数据库应用开发的程序员,不适合专业DBA,DBA在数据库性能优化方面需要了解更多的知识...
    安易学车阅读 1,805评论 0 40
  • 转载自:https://www.cnblogs.com/easypass/archive/2010/12/08/1...
    SkTj阅读 536评论 0 1
  • 本文内容 1.什么是JDBC以及为什么要使用JDBC 2.JDBC核心API的讲解 3.使用JDBC核心API进行...
    Vincilovfang阅读 1,206评论 0 11
  • 昨天打开微信,发现自己被拉入到一个陌生的群里去。正疑惑呢,群主发来一条消息: “178号求赞,谢谢大家,么么哒!”...
    杨文倩阅读 250评论 0 0
  • 文案的魔法,在于抓住人心。其实每一份文案都是在试探,试探那创意的热度究竟在何种程度上能够点燃阅读对象的兴趣之火,让...
    暖逸阅读 1,208评论 0 0