- 今天有一个给数据库中插入700w数据的小脚本,最后选择用source xx.sql实现,这里看记录一下实现的过程
- 1 使用进入mysql 中后source xx.sql,客户端一直在刷,做不了其他事情,放弃;
2 选择在mysql外运行source 命令,具体如下:
mysql -hlocalhost -uroot -ppassword db_name < "d:\\db_bak.sql"
但是运行一段时间,会因为insert语句错误导致中断结果
3 下面查到可以强制运行,忽略错误,语句如下:
mysql -hlocalhost -uroot -ppassword db_name --force < "d:\\db_bak.sql"
4 但是700w数据太大,因此运行时间太长,并且中间尝试过一次mac上的securt的客户端断开以后就会出现insert 数据停止的问题。最后想到将数据切片以后再后台进行运行:
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_1.sql > out_1.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_2.sql > out_2.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_3.sql > out_3.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_4.sql > out_4.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_5.sql > out_5.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_6.sql > out_6.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_7.sql > out_7.file 2>&1 &
数据切片命令如下:
split -l 1000000 ../titles_sql_all.sql -d -a 4 title_
5 nohup
用途:不挂断地运行命令。
语法:nohup Command [ Arg ... ] [ & ]
描述:nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令,忽略所有挂断(SIGHUP)信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令,添加 & ( 表示“and”的符号)到命令的尾部。
6 操作系统输入流
操作系统中有三个常用的流:
0:标准输入流 stdin
1:标准输出流 stdout
2:标准错误流 stderr
一般当我们用 > console.txt,实际是 1>console.txt的省略用法;< console.txt ,实际是 0 < console.txt的省略用法。
7 命令解释
nohup ./start-dishi.sh >output 2>&1 &
解释:
- 带&的命令行,即使terminal(终端)关闭,或者电脑死机程序依然运行(前提是你把程序递交到服务器上);
- 2>&1的意思
这个意思是把标准错误(2)重定向到标准输出中(1),而标准输出又导入文件output里面,所以结果是标准错误和标准输出都导入文件output里面了。 至于为什么需要将标准错误重定向到标准输出的原因,那就归结为标准错误没有缓冲区,而stdout有。这就会导致 >output 2>output 文件output被两次打开,而stdout和stderr将会竞争覆盖,这肯定不是我门想要的.
- 小结:
期间问过一个运维大哥,说是:
一般常见的后台执行语句格式是 command & > out.file &
但是有些系统或者shell这样执行的话还是会中断,最保险的方式是这个 nohup command > out.file 2>&1 &
好像&可以保证后台运行,但是nohup貌似更好用,我理解的nohup相当于是linux开了多个线程进行insert,反正速度比单一一道命令快很多。