任务概述

近期老师给我布置了一个任务，用Perl写一个爬虫自动化提交蛋白质数据到网页上分析。

网站名字叫做flexpepdock，首页上有整个网站的介绍。

网站首页

可以看到这个网站可以对接肽和蛋白，然后对肽-蛋白复合物建模。我的工作就是完成自动化将“本地文件上传到这个网站，让网站分析，最后保存结果地址”这个过程，细节如下：

流程细节

流程细节

实战细节

首先自己先手动跑一遍整个流程。用的是网站上提供下载的example.pdb文件。在左边的Demo栏可以下载。

4.png

提前F12打开网络活动，提交文件之后（邮箱可以不填），发现网页发生跳转。让我们看看在这个跳转过程中发生了什么——用户通过post请求向如下地址发送了一个multipart/form-data，服务器解析该表单，向用户返回结果。

post请求

content-type

那么该如何向服务器post multipart/form-data呢？在一番搜索之后，我发现curl可以完成这个工作。伪代码如下：

curl -F upload=@example.pdb -o output.html url

-F 是curl的内置工具用来提交multipart?form-data的，example.pdb是本地文件，-o 选项用于将结果输出成一个html文件，url则是我们需要请求的地址。linux系统下可以直接在终端输入命令完成请求。

因为老师要求使用perl，我便在perl脚本中调用Linux命令。

#!/usr/env/perl

curl -F upload=@example.pdb -o example.html   http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php

试运行了一下，在终端用cat命令查看example.html内容。

cat example.html

成功找到了我们需要的结果保存地址。接下来的工作便是将结果保存和完成批量本地文件自动上传。

请求结果

提取并保存结果

想要提取我们的结果自然是要用正则表达式啦。这里用一个比较笨也比较直接的方法写正则表达式：

$content =~ /http:..flexpepdock.furmanlab.cs.huji.ac.il.res.*index.php;

与原url（http://flexpepdock.furmanlab.cs.huji.ac.il/res/607a8b358e19b/index.php）对比，可以看到我将我们需要保存的地址中的所有符号都换成了"."，避免报错，将关键的会随着不同上传文件而变化的字段“607a8b358e19b”用"."代替。perl的正则表达式中"."可以代表任意单个字符，而“.”可以代表任意多个字符。

接下去就是将结果写入文件"job_url"

open (OUT,">>$outputdir/job_url"); # >>表示追加输入模式，即打开文件在最后一行输入
$content =~ /http:..flexpepdock.furmanlab.cs.huji.ac.il.res.*index.php/;
if ("$&\n!=''")  #判定正则匹配结果是否为空
{
    print "$&\n"; # $&表示正则表达式匹配的结果
    print OUT "$&\n"; #该语句用于将结果写入文件
}
else
{
    print "$s uploading failed"
}
close OUT;

批量上传本地文件

$s =$ARGV[0]; #用ARGV获取命令行参数

$inputdir = "/home/zhiling/$s"; #文件输入路径  
$outputdir = "/home/zhiling/"; #结果输出路径

curl -F upload=@"$inputdir" -o example.html http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php;

ARGV能够获得命令行参数。因此，我们只需要在命令行输入perl+脚本名+*.pdb就能将所有的pdb文件都逐一通过curl上传到网站上分析。比如我给我的脚本命名“get_JobUrl”，那么只需在linux终端输入如下命令，就可以完成批量分析了。

perl get_JobUrl *.pdb

linux终端中，“*”表示匹配任意字符，即该命令能将所有后缀为pdb的文件都用上述流程分析一便。

完整代码

#!/usr/env/perl

#
#usage perl get_JobUrl.pl *.pdb
#
#input /home/zhiling/$s
#output /home/zhiling/job_url
#
#website http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php
#


$s =$ARGV[0];
$inputdir = "/home/zhiling/$s";
$outputdir = "/home/zhiling/";

## use curl to post multipart/form-data

`curl -F upload=@"$inputdir" -o example.html http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php`;

## store response

$file = "example.html";
open (IN,$file);
my $content = join("",<IN>);
print $content;
close IN;
`rm example.html`;

## store job url

open (OUT,">>$outputdir/job_url");
$content =~ /http:..flexpepdock.furmanlab.cs.huji.ac.il.res.*index.php/;
if ("$&\n!=''")
{
    print "$&\n";
    print OUT "$&\n";
}
else
{
    print "$s uploading failed"
}
close OUT;

欢迎感兴趣的小伙伴一起交流讨论~~