使用Aspera下载SRA数据

Aspera Connect软件是IBM旗下的商业高速文件传输软件,与NCBI和EBI有协作合同,可以免费使用它下载高通量测序文件,体验高速丝滑的过程。速度可飙至300~500M/s。

1. Aspera Connect命令行工具ascp的安装

首先,进入Aspera Connect的下载页面,选择linux版本,复制下载地址,最新的版本是4.2.3。

image.png

image.png
wget https://d3gcli72yxqn2z.cloudfront.net/downloads/connect/latest/bin/ibm-aspera-connect_4.2.3.197_linux.tar.gz
tar xvf ibm-aspera-connect_4.2.3.197_linux.tar.gz
bash ibm-aspera-connect_4.2.3.197_linux.sh

很遗憾我没有成功,编译时报错version 'GLIBCXX_3.4.20' not found (required by /home/XXX/.aspera/connect/bin/asperaconnect-nmh)
查找了网上的相关信息,说gcc的动态库太旧了,可使用命令strings /usr/lib64/libstdc++.so.6 | grep GLIBC查看GLIBC的版本 ,确实我的机器中只到'GLIBCXX_3.4.19版本。网上也有相应的解决方案,比如解决报错‘version 'GLIBCXX_3.4.20‘ not found’/lib64/libstdc++.so.6: version 'GLIBCXX_3.4.20' not found问题解决方法等,网友可以尝试。

因我的机器为公用机器,不能贸然修改GCC版本,故转为使用conda进行Aspera的安装。

>$ conda install -c hcc aspera-cli -y

安装的版本比自己下载源码安装的版本低,但无碍,先确定能用再说。

image.png
# 确认是否安装成功,有输出帮助文档则安装成功
$ ascp -h
# 查找密钥(使用时需要提供密钥)
$ which ascp #输出的内容可能不同,按照自己的安装路径来
/root/miniconda3/bin/ascp
# 将`bin`及`bin`后面的内容换成etc/asperaweb_id_dsa.openssh
# 可以使用ls 验证一下是否存在
$ ls /root/miniconda3/etc/asperaweb_id_dsa.openssh
 /root/miniconda3/etc/asperaweb_id_dsa.openssh # 返回信息则说明存在。

至此,安装完成。

2. Aspera 使用手册

ascp是Aspera的命令。它的使用

ascp [参数] 目标文件 目标地址
常用的参数:

参数 说明
-v verbose mode 实时输出程序运行中间文件
-T 取消加密,否则有时候数据下载不了
-i 提供私钥文件地址,文件名为asperaweb_id_dsa.openssh,找不到用find查找一下
-l 设置最大传输速度,一般200M到500M,如果不设置,反而速度会比较低,可能有个较低的默认值
-k 断点续传,一般设置为值1
-Q Enable fair transfer policy,一般加上,但不知什么用
-P 提供SSH port,一般是33001

3.下载SRA和EBI的数据

先介绍下这两个数据集:

SRA数据库:Sequence Read Archive:隶属NCBI (National Center for Biotechnology Information),它是一个保存高通量测序原始数据以及比对信息和元数据 (metadata) 的数据库,所有已发表的文献中高通量测序数据基本都上传至此,方便其他研究者下载及再研究。其中的数据则是通过压缩后以.sra文件格式来保存的。现在也有直接fastq格式的数据。

ENA数据库European Nucleotide Archive:隶属EBI (European Bioinformatics Institute),功能同SRA,并且对数据做了注释,界面更友好,可直接下载fastq (.gz)文件。

之前Aspera是可以下载NCBI、EBI和DDBJ三大数据库的数据的。不过现在NCBI数据迁移到阿里云(AWS)和google云(GCP)了,原来的ftp链接失效了。DDBJ 好像用的不多,使用Aspera下载EBI最好用。

(1) NCBI SRA数据下载,不推荐使用Aspera

原来ncbi SRA在Aspera的用户名是anonftp, 路径为ftp-private.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/...,但目前已停服。

NCBI ftp下载SRA链接2019.12.1关闭声明

补充:目前NCBI还可以使用的链接:

sra:https://trace.ncbi.nlm.nih.gov/Traces/sra-reads-be/fastq?acc=SRR13450889
更改SRR号即可(统计至2022.11.11)。或者使用云服务器上的链接。

image.png

(2) ENA 数据下载

数据存放地址:fasp.sra.ebi.ac.uk,ENA在Aspera的用户名为era-fasp

以一个例子说明基本用法:

$ ascp  -l 200M -P 33001 -QT -k 2 -i /root/miniconda3/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz ./test.fq.gz

有个奇怪的现象,浏览器查看fasp.sra.ebi.ac.uk/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz链接是打不开的,但是可以使用上述命令可以下载数据。使用https://ftp.sra.ebi.ac.uk/vol1/fastq/SRR576/004/SRR5760814/SRR5760814.fastq.gz可以浏览器,wget,curl下载。

https://blog.csdn.net/weixin_43745169/article/details/93311701

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,647评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,690评论 2 374
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,739评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,692评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,552评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,410评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,819评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,463评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,752评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,789评论 2 314
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,572评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,414评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,833评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,054评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,345评论 1 254
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,810评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,016评论 2 337

推荐阅读更多精彩内容