转载说明：转载自GBASE南大通用官方社区：https://www.gbase.cn/community/post/3826
在当今快速发展的信息技术时代，数据迁移已成为企业确保业务连续性和数据安全性的关键环节。随着企业规模的扩大和业务需求的不断变化，数据库迁移技术也在不断进步。今天，我们将深入探讨一种高效的数据库迁移技术——全库并行迁移技术，它通过并发卸载（unload）和并发加载（dbload）的方式，实现了数据迁移的高效率和高稳定性。
数据库迁移通常涉及将数据从一个数据库环境迁移到另一个数据库环境，这包括数据结构和数据内容的迁移。传统的迁移方法可能存在效率低下、容易出错等问题。然而，随着技术的发展，全库并行迁移技术的出现，为数据库迁移提供了一种新的解决方案。
本文中提供的dbexport.sh脚本，就是一个用于快速导出库和导入库（使用多并发unload，和多并发dbload的方式）,下载【dbexport.sh】（https://nas.laosan.cool:8001/8s/shell/dbexport.sh）
#!/bin/sh
#脚本功能：将数据导出成文本，迁移至其他实例
#最后更新时间：2023-12-19
#使用方法：
#1.执行该脚本
#2.输入要导出的数据库名称后回车
#3.导出程序在后台执行，可执行
ps -ef|grep
dbaccess 监控是否所有表都导出完毕
#4.导出过程中，会在数据文件夹内自动生成数据导入
importdb.sh，执行该脚本可将数据导入至其他实例
#5.修正三个问题，第一个是外键的自动处理；第二个用dbload替换load解决了长事务的问题；第三实现了并行的dbload
#6.注意aix平台没有sed
-i参数，可能会有问题，需要单独处理
#7.通过dbload后台执行的方式，并行加载数据，不建议同时使用dbaccess
dbname idx.sql。这样可能会带来先创建索引，后倒入数据的现象
checkRunDba(){
RUNDBA=$(ps
-ef | grep dbaccess | grep -v grep | wc -l)
if
[ ${RUNDBA}
-ge 20
]; then
return
1
else
return
0
fi
}
if
[ $#
-lt 1
]; then
read
-p "Please
input database name: "
DBNAME
else
DBNAME=$1
fi
BACKDIR=BAK-${DBNAME}-$(date +%Y%m%d%H%M)
mkdir -p $BACKDIR/ctl
mkdir -p $BACKDIR/log
cd $BACKDIR
export DBDATE=Y4MD-
# env file
env |
egrep '(DB_LOCALE|CLIENT_LOCALE|GL_|DBDATE)'
|
awk -F'='
'{if($0~/
/){print "export "$1"='"$2"'"}else{print
"export "$1"="$2}}'
>
${DBNAME}_env_file
dbschema
-d ${DBNAME}
-q -ss ${DBNAME}.sql
if
[ !
$?
-eq 0
]; then
echo
"Dbschema
out error."
exit
1
fi
dbaccess
${DBNAME}
- <
unload
to BAK_tabname.unl delimiter ' '
SELECT
t.tabname,t.ncols, p.nrows::int8 nrows
FROM
systables t, sysmaster:sysptnhdr p
WHERE
t.tabid > 99
AND
t.tabtype = 'T'
AND
t.partnum = p.partnum
UNION
SELECT
t.tabname,t.ncols,sum(p.nrows)::int8 nrows
FROM
systables t, sysfragments f, sysmaster:sysptnhdr p
WHERE
t.tabid > 99
AND
t.tabtype = 'T'
AND
t.tabid = f.tabid
AND
f.fragtype = 'T'
AND
f.partn = p.partnum
GROUP BY
1,2;
EOF
while
read
TAB NCOL NROWS
do
{
dbaccess
${DBNAME}
- <
set
isolation to dirty read;
unload
to ${TAB}.unl select * from ${TAB};
EOF
}&
while
true
do
checkRunDba
if
[ $?
-eq 0
]; then
break
else
sleep
5
fi
done
done
<
BAK_tabname.unl
#
建表语句和建索引语句分离，允许去除主键、约束名称
echo
"set
pdqpriority 96;"
>
IDX_${DBNAME}.sql
sed -n
'/revoke
usage /,$p'
${DBNAME}.sql
>>
IDX_${DBNAME}.sql
sed -i
'/revoke
usage /,$d'
${DBNAME}.sql
#sed
's/check (.*) constraint .*,/check �,/g;s/unique (.*) constraint
.*,/unique �,/g;s/primary key (.*) constraint .*,/primary key
�,/g' ${DBNAME}.sql > nocon_${DBNAME}.sql
#if [ -f
nocon_${DBNAME}.sql ]; then
# sed -i
's/check (.*) constraint .*/check �/g;s/unique (.*) constraint
.*/unique �/g;s/primary key (.*) constraint .*/primary key �/g'
${DBNAME}.sql nocon_${DBNAME}.sql
#fi
# 导出注释
dbaccess
${DBNAME}
- <
--
tabcomm, delimiter ' ' (ctrl + i)
unload
to _tmp_table_comment.unl delimiter ' '
select
'comment on table ' || tabname || ' is ''' || replace(comments,
chr(39), '''''') || ''';' as comment from syscomments;
--
colcomm, delimiter ' ' (ctrl + i)
unload
to _tmp_column_comment.unl delimiter ' '
select
'comment on column ' || tabname || '.' || colname || ' is ''' ||
replace(comments, chr(39), '''''') || ''';' as comment
from
syscolcomments;
EOF
if
[ -f _tmp_table_comment.unl ]; then
cat
_tmp_table_comment.unl >
COMM_${DBNAME}.sql
rm -f
_tmp_table_comment.unl
fi
if
[ -f _tmp_column_comment.unl ]; then
cat
_tmp_column_comment.unl >>
COMM_${DBNAME}.sql
rm -f
_tmp_column_comment.unl
fi
cat <
#!/bin/sh
# filename
: importdb.sh
checkRunDbl(){
RUNDBA=$(ps
-ef | grep 'dbload -d ${DBNAME}' | grep -v grep | wc -l)
if [
${RUNDBA} -gt ${1:-20} ]; then
return
1
else
return
0
fi
}
if [ -f
${DBNAME}_env_file ]; then
.
./${DBNAME}_env_file
fi
dbaccess
${DBNAME} ${DBNAME}.sql 2>${DBNAME}_error_run.log
if [ ! $?
-eq 0 ]; then
echo
"Load schema error! Please check if Database [ ${DBNAME} ]
exists, or/and DDL error/warning at ${DBNAME}_error_run.log. "
echo
"Some version has 'create implicit cast ... ' in ${DBNAME}.sql
file, you need to delete them. "
exit 1
fi
awk
'{sum+=$3}END{printf("Rows: %d for database: ${DBNAME} will
load.
",sum)}' BAK_tabname.unl
while read
TAB NCOL NROWS
do
cat <
FILE
${TAB}.unl DELIMITER '|' ${NCOL};
INSERT
INTO ${TAB};
!
done <
BAK_tabname.unl
while read
TAB NCOL NROWS
do
{
dbload
-d ${DBNAME} -c ./ctl/${TAB}.ctl -n 5000 -l ./log/${TAB}.log
}&
while
true
do
checkRunDbl
if [
$? -eq 0 ]; then
break
else
sleep
5
fi
done
done <
BAK_tabname.unl
while true
do
checkRunDbl
0
if [ $?
-eq 0 ]; then
break
else
sleep
5
fi
done
if [ -f
IDX_${DBNAME}.sql ]; then
dbaccess
${DBNAME} IDX_${DBNAME}.sql > ./log/IDX_${DBNAME}.log 2>&1
if [ !
$? -eq 0 ]; then
echo
"Create index had error, check ./log/IDX_${DBNAME}.log"
fi
fi
if [ -f
COMM_${DBNAME}.sql ]; then
dbaccess
${DBNAME} COMM_${DBNAME}.sql > ./log/COMM_${DBNAME}.log 2>&1
if [ !
$? -eq 0 ]; then
echo
"Comment on table had error, check ./log/IDX_${DBNAME}.log"
fi
fi
exit 0
EOF
chmod +x
importdb.sh
exit
0
使用方式
# 导出，生成目录
BAK-库名-时间
dbexport.sh
库名
#
在新环境下创建同名库
echo
'create
database 库名
with buffered log
in datadbs01'
|
dbaccess - -
# 导入，进入生成的
BAK-库名-时间
目录
importdb.sh
全库并行迁移技术以其高效、稳定的特点，为企业数据迁移提供了强有力的支持。随着技术的不断进步，我们可以预见，未来的数据库迁移将更加智能、自动化，为企业的数据管理和业务发展提供更加坚实的基础。
数据迁移不仅是技术操作，更是一种策略规划。通过自动化脚本，我们能够大幅度提高迁移效率，降低人为错误。在实施迁移时，应充分考虑系统资源、并发控制、错误处理及日志记录等关键因素。
随着云计算和大数据技术的不断成熟，未来的数据库迁移将更加依赖于智能化工具和平台。企业将能够更加灵活地管理数据，快速响应市场变化，保持竞争优势。让我们共同期待并行迁移技术在未来的更多精彩表现。
