现象描述:

  两台服务器在不同的地区，就称之为A和B服务器吧，A、B服务器之间网络能ping通，目前需要将A服务器中数据导出为dmp，并将dmp上传并导入到B服务器oracle中，dmp文件大小为100G左右，由于AB服务器都在互联网中，开放的端口有限且A服务器不能开放其他的端口，A服务器只针对特定的ip开放oracle的端口和22端口，B服务器可开放的端口为：7855。

服务器

解决思路:

  由于服务器在不同的地区、开放的端口有限、人工用硬盘的方式拷贝文件成本较高，所以就产生了在B服务器上添加文件上传服务器，将A服务器的文件上传到B服务器下，综合考虑采用Python编写文件上传服务，并将A服务器的dmp文件导出为1G大小的文件，并逐个压缩为zip文件再上传。

python

1. 编写服务

  1. 导出脚本

# 导出dmp文件
nohup oracleUser/oracleUserPwd directory=expbk dumpfile=BIS_XXXXXX_%U.dmp filesize=1g logfile=export.log  flashback_scn=9704341345274 tables=oracleUser.BIS_XXXXXX &

  2. 编写服务脚本

# -*- coding: UTF-8 -*-
import cgi
import time
from BaseHTTPServer import BaseHTTPRequestHandler


# 支持post请求
class PostHandler(BaseHTTPRequestHandler):
    def do_POST(self):
        form = cgi.FieldStorage(
            fp=self.rfile,
            headers=self.headers,
            environ={'REQUEST_METHOD': 'POST',
                     'CONTENT_TYPE': self.headers['Content-Type'],
                     }
        )
        # ip验证,待改善
        if (str(self.client_address[0]) != '192.168.0.104'):
            self.send_response(403)
            self.end_headers()
            self.wfile.write('Permission denied')
            return
        self.send_response(200)
        self.end_headers()
        print ('beginUploadFile ')
        print ('Client: %sn ' % str(self.client_address))
        print ('User-agent: %sn' % str(self.headers['user-agent']))
        print ('Path: %sn' % self.path)
        self.wfile.write('beginUploadFile ')
        beginTime = time.time()
        for field in form.keys():
            field_item = form[field]
            filename = field_item.filename
            filevalue = field_item.value
            filesize = len(filevalue)
            print ('fileName: %s' % str(filename), 'fileSize:%s' % str(filesize))
            self.wfile.write('fileName is :%s ' % filename)
            self.wfile.write('fileSize is :%s byte ' % str(filesize))
            with open(filename.decode('utf-8'), 'wb') as f:
                f.write(filevalue)
                f.flush()
        consumingTime = time.time() - beginTime
        print ('endUpload,time consuming :%s' % str(consumingTime))
        self.wfile.write('endUpload,time consuming:%s' % str(consumingTime))
        return


# 启动服务

def StartServer(port=7855):
    from BaseHTTPServer import HTTPServer
    sever = HTTPServer(("", port), PostHandler)
    sever.serve_forever()


if __name__ == '__main__':
    StartServer()

  3. 启动

python PostHandler.py

2. 压缩文件

  压缩前后对比，压缩前为713M，压缩后为290M，这样就大大的减少了传输时间。

zip VS dmp

3. 上传文件

上传文件使用 curl 命令方式，将文件写入到shell脚本中，执行脚本可实现批量上传。

部分上传文件脚本

4. 上传结果

将上传的文件解压后，列表如下图所示，每个文件相隔时间在2分钟左右，这个取决于网络带宽。

文件列表

总结

  通过这次编写脚本可以解决该问题，但是还有需要完善的地方，请各位读者见谅，有其他方案的可以在评论区提出来。