记一次服务器之间不能scp、ftp,传递大文件,快速实现方案

现象描述:

  两台服务器在不同的地区,就称之为A和B服务器吧,A、B服务器之间网络能ping通,目前需要将A服务器中数据导出为dmp,并将dmp上传并导入到B服务器oracle中,dmp文件大小为100G左右,由于AB服务器都在互联网中,开放的端口有限且A服务器不能开放其他的端口,A服务器只针对特定的ip开放oracle的端口和22端口,B服务器可开放的端口为:7855。


服务器

解决思路:

  由于服务器在不同的地区、开放的端口有限、人工用硬盘的方式拷贝文件成本较高,所以就产生了在B服务器上添加文件上传服务器,将A服务器的文件上传到B服务器下,综合考虑采用Python编写文件上传服务,并将A服务器的dmp文件导出为1G大小的文件,并逐个压缩为zip文件再上传。

python


1. 编写服务

  1. 导出脚本

# 导出dmp文件
nohup oracleUser/oracleUserPwd directory=expbk dumpfile=BIS_XXXXXX_%U.dmp filesize=1g logfile=export.log  flashback_scn=9704341345274 tables=oracleUser.BIS_XXXXXX &

  2. 编写服务脚本

# -*- coding: UTF-8 -*-
import cgi
import time
from BaseHTTPServer import BaseHTTPRequestHandler


# 支持post请求
class PostHandler(BaseHTTPRequestHandler):
    def do_POST(self):
        form = cgi.FieldStorage(
            fp=self.rfile,
            headers=self.headers,
            environ={'REQUEST_METHOD': 'POST',
                     'CONTENT_TYPE': self.headers['Content-Type'],
                     }
        )
        # ip验证,待改善
        if (str(self.client_address[0]) != '192.168.0.104'):
            self.send_response(403)
            self.end_headers()
            self.wfile.write('Permission denied')
            return
        self.send_response(200)
        self.end_headers()
        print ('beginUploadFile ')
        print ('Client: %sn ' % str(self.client_address))
        print ('User-agent: %sn' % str(self.headers['user-agent']))
        print ('Path: %sn' % self.path)
        self.wfile.write('beginUploadFile ')
        beginTime = time.time()
        for field in form.keys():
            field_item = form[field]
            filename = field_item.filename
            filevalue = field_item.value
            filesize = len(filevalue)
            print ('fileName: %s' % str(filename), 'fileSize:%s' % str(filesize))
            self.wfile.write('fileName is :%s ' % filename)
            self.wfile.write('fileSize is :%s byte ' % str(filesize))
            with open(filename.decode('utf-8'), 'wb') as f:
                f.write(filevalue)
                f.flush()
        consumingTime = time.time() - beginTime
        print ('endUpload,time consuming :%s' % str(consumingTime))
        self.wfile.write('endUpload,time consuming:%s' % str(consumingTime))
        return


# 启动服务

def StartServer(port=7855):
    from BaseHTTPServer import HTTPServer
    sever = HTTPServer(("", port), PostHandler)
    sever.serve_forever()


if __name__ == '__main__':
    StartServer()

  3. 启动

python PostHandler.py

2. 压缩文件

  压缩前后对比,压缩前为713M,压缩后为290M,这样就大大的减少了传输时间。


zip VS dmp

3. 上传文件

上传文件使用 curl 命令方式,将文件写入到shell脚本中,执行脚本可实现批量上传。


部分上传文件脚本

4. 上传结果

将上传的文件解压后,列表如下图所示,每个文件相隔时间在2分钟左右,这个取决于网络带宽。

文件列表


总结

  通过这次编写脚本可以解决该问题,但是还有需要完善的地方,请各位读者见谅,有其他方案的可以在评论区提出来。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容