CD-hit安装及使用

cd-hit 是用于蛋白质序列或核酸序列聚类的工具,根据序列的相似度对序列进行聚类以去除冗余的序列,一般用于构建非冗余的数据集用于后续的实验分析。

cd-hit聚类算法

通常来说,根据序列相似度对序列进行聚类,首先想到的可能是通过计算两两序列之间的相似度对序列进行聚类,这样需要进行all by all的比较,相对来说比较费时,而 cd-hit 软件可以避开all by all比较的问题,大大缩短了运行时间。

cd-hit 是一种贪婪的增量聚类方法,首先对输入的序列根据序列的长短进行排序,并从最长到最短的顺序处理它们。将最长的序列自动的分为第一类并作为第一类的代表序列,然后将剩下的序列与在其之前发现的代表性序列进行比较,根据序列相似性将其归为其中的一类或成为新的一个聚类的代表序列,如此遍历所有序列完成聚类过程。 在默认方式中,序列仅和每一个聚类中的代表性序列(为这类中的最长序列)进行比较而不和这个类中的其他序列进行比对。 在准确模式下,序列会和每个聚类中的所有序列进行比较然后决定是成为新的一类还是归为其中的一类中。

cd-hit下载和安装

下载网址

https://github.com/weizhongli/cdhit/releases

安装

wget https://github.com/weizhongli/cdhit/releases/download/V4.6.8/cd-hit-v4.6.8-2017-1208-source.tar.gz ## 下载cd-hit

tar -zxvf cd-hit-v4.6.8-2017-1208-source.tar.gz  ## 解压

cd cd-hit-v4.6.8-2017-1208

make  ## 编译

cd cd-hit-auxtools

make ## 编译

## 如果编译失败,可以下载二进制版本,解压就可以使用不用编译

wget https://github.com/weizhongli/cdhit/releases/download/V4.6.7/cd-hit-v4.6.7-2017-0501-Linux-binary.tar.gz  ## 解压即用,不用编译

cd-hit的使用

包含的程序和用途

* cd-hit Cluster peptide sequences

* cd-hit-est Cluster nucleotide sequences

* cd-hit-2d Compare 2 peptide databases

* cd-hit-est-2d Compare 2 nucleotide databases

* psi-cd-hit Cluster proteins at <40% cutoff

* cd-hit-lap Identify overlapping reads

* cd-hit-dup Identify duplicates from single or paired Illumina reads

* cd-hit-454 Identify duplicates from 454 reads

* cd-hit-otu Cluster rRNA tags

* cd-hit-para Cluster sequences in parallel on a computer cluster

* h-cd-hit Hierarchical clustering

cd-hit 的基本用法

1

cd-hit -i db -o db90 -c 0.9 -n 5 -M 16000 –d 0 -T 8

参数说明

-i 输入文件,fasta格式的序列

-o 输出文件路径和名字

-c 相似性(clustering threshold),0.9表示相似性大于等于90%的为一类

-n 两两序列进行序列比对时选择的 word size

-d 0表示使用 fasta 标题中第一个空格前的字段作为序列名字

-M 16000,16GB RAM

-T 使用的线程数

Choose of word size:

-n 5 for thresholds 0.7 ~ 1.0

-n 4 for thresholds 0.6 ~ 0.7

-n 3 for thresholds 0.5 ~ 0.6

-n 2 for thresholds 0.4 ~ 0.5

cd-hit 只能完成在40%以上的序列相似性的聚类,假设要将阈值设置为30%的相似性则需要两次聚类并使用psi-cd-hit.pl 脚本才能完成

1

2

cd-hit -i nr -o nr60 -c 0.6 -n 4 -d 0 -M 16000 -T 16 # 先将阈值设置为60%

psi-cd-hit.pl -i nr60 -o nr30 -c 0.3 # 在用psi-cd-hit完成30%的相似性聚类

cd-hit-2d的基本用法

1

cd-hit-2d -i db1 -i2 db2 -o db2novel -c 0.9 -n 5 -d 0 -M 16000 -T 8

cd-hit-2d 用于比较两个数据库中的相似性序列,默认识别在 db2 中的序列和 db1 中的序列相似性高于某个阈值的序列,输入是两个 fasta 格式的文件,输出是 db2 中与 db1 不相似的蛋白质序列文件和列出 db1 和 db2 之间相似序列的文件,如果想要输出 db1 中和 db2 中不相似的序列,可以将输入文件 db1 和 db2 的前后位置进行交换。

cd-hit-est的基本用法

1

cd-hit-est -i est_human -o est_human95 -c 0.95 -n 10 -d 0 -M 16000 - T 8

cd-hit-est 的基本用法基本和 cd-hit 相同,只是 cd-hit-est 是用于核酸序列聚类,其中 word size 范围有点差异

-n 10, 11 for thresholds 0.95 ~ 1.0

-n 8,9 for thresholds 0.90 ~ 0.95

-n 7 for thresholds 0.88 ~ 0.9

-n 6 for thresholds 0.85 ~ 0.88

-n 5 for thresholds 0.80 ~ 0.85

-n 4 for thresholds 0.75 ~ 0.8

cd-hit-est-2d的基本用法

1

cd-hit-est-2d -i db1 -i2 db2 -o db2novel -c 0.95 -n 10 -d 0 -M 16000 - T 8

cd-hit-est-2d 的基本用法基本和 cd-hit-2d 相同,只是 cd-hit-est 是用于核酸序列聚类

参考文献

Limin Fu, Beifang Niu, Zhengwei Zhu, Sitao Wu and Weizhong Li, CD-HIT: accelerated for clustering the next generation sequencing data. Bioinformatics, (2012), 28 (23): 3150-3152.

本文作者: biolearn

本文链接: https://huifangliu.github.io/2018/08/22/使用cd-hit对蛋白质或核酸序列进行聚类/

版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!

# 序列聚类

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,397评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,585评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,521评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,645评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,489评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,366评论 1 274
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,787评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,432评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,732评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,775评论 2 314
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,550评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,393评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,802评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,036评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,324评论 1 253
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,757评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,958评论 2 336