现象描述:
两台服务器在不同的地区，就称之为A和B服务器吧，A、B服务器之间网络能ping通，目前需要将A服务器中数据导出为dmp，并将dmp上传并导入到B服务器oracle中，dmp文件大小为100G左右，由于AB服务器都在互联网中，开放的端口有限且A服务器不能开放其他的端口，A服务器只针对特定的ip开放oracle的端口和22端口，B服务器可开放的端口为：7855。
服务器
解决思路:
由于服务器在不同的地区、开放的端口有限、人工用硬盘的方式拷贝文件成本较高，所以就产生了在B服务器上添加文件上传服务器，将A服务器的文件上传到B服务器下，综合考虑采用Python编写文件上传服务，并将A服务器的dmp文件导出为1G大小的文件，并逐个压缩为zip文件再上传。
python
1. 编写服务
1. 导出脚本
# 导出dmp文件
nohup oracleUser/oracleUserPwd directory=expbk dumpfile=BIS_XXXXXX_%U.dmp filesize=1g logfile=export.log flashback_scn=9704341345274 tables=oracleUser.BIS_XXXXXX &
2. 编写服务脚本
# -*- coding: UTF-8 -*-
import cgi
import time
from BaseHTTPServer import BaseHTTPRequestHandler
# 支持post请求
class PostHandler(BaseHTTPRequestHandler):
def do_POST(self):
form = cgi.FieldStorage(
fp=self.rfile,
headers=self.headers,
environ={'REQUEST_METHOD': 'POST',
'CONTENT_TYPE': self.headers['Content-Type'],
}
)
# ip验证,待改善
if (str(self.client_address[0]) != '192.168.0.104'):
self.send_response(403)
self.end_headers()
self.wfile.write('Permission denied')
return
self.send_response(200)
self.end_headers()
print ('beginUploadFile ')
print ('Client: %sn ' % str(self.client_address))
print ('User-agent: %sn' % str(self.headers['user-agent']))
print ('Path: %sn' % self.path)
self.wfile.write('beginUploadFile ')
beginTime = time.time()
for field in form.keys():
field_item = form[field]
filename = field_item.filename
filevalue = field_item.value
filesize = len(filevalue)
print ('fileName: %s' % str(filename), 'fileSize:%s' % str(filesize))
self.wfile.write('fileName is :%s ' % filename)
self.wfile.write('fileSize is :%s byte ' % str(filesize))
with open(filename.decode('utf-8'), 'wb') as f:
f.write(filevalue)
f.flush()
consumingTime = time.time() - beginTime
print ('endUpload,time consuming :%s' % str(consumingTime))
self.wfile.write('endUpload,time consuming:%s' % str(consumingTime))
return
# 启动服务
def StartServer(port=7855):
from BaseHTTPServer import HTTPServer
sever = HTTPServer(("", port), PostHandler)
sever.serve_forever()
if __name__ == '__main__':
StartServer()
3. 启动
python PostHandler.py
2. 压缩文件
压缩前后对比，压缩前为713M，压缩后为290M，这样就大大的减少了传输时间。
zip VS dmp
3. 上传文件
上传文件使用 curl 命令方式，将文件写入到shell脚本中，执行脚本可实现批量上传。
部分上传文件脚本
4. 上传结果
将上传的文件解压后，列表如下图所示，每个文件相隔时间在2分钟左右，这个取决于网络带宽。
文件列表
总结
通过这次编写脚本可以解决该问题，但是还有需要完善的地方，请各位读者见谅，有其他方案的可以在评论区提出来。
