写在前面,现在因为课题需要被迫学习生信的人不少,linux则是必须要接触的语言了,我也一样,纯小白,没有基础知识,所以遇到什么查什么,一点点积累,就有了下面越来越多的语句。还会慢慢更新......
如果你只是简单的处理,下面的句子就足够使用了,如果想继续精进的就一定要学一下基础知识,要不然总是空中楼阁,遇到变通的情况就没法处理了。希望对大家有帮助。一起加油!
基本系统操作
bc -l
:启动Terminal下的计算器,可以在这里进行简单的数学运算,输入"quit"就可以退出;
matlab &
在同一个窗口打开多个软件。在软件命令后面夹&,即可把命令行空出来;
nohup command > myout.file 2>&1 &
后台挂起任务,关闭终端任务也不会结束,并将运行界面输出;
md5sum filename.fq.gz >md5tmp1.txt
下载文件生成md5码;
cat md5tmp1.tx
查看文件生成的md5码;
cat filename.fq.gz.md5
查看随文件下载的md5码是否和文件生成的md5码一样,确保文件下载准确;
free -h
查看存储;
top -c
查看进程
htop
查看目前linu运行情况;
killall -u username
kill掉该用户的所有进程;
对文件夹及文件的基本操作:
pwd
:列出当前目录的完整路径,明确你在哪;
du -sh ./
检查当前目录所占空间大小;
du -sh *
查看当前目录下各文件内存;
cd
:跳转到其他目录,cd -
跳回最近一次的目录,cd ..
退回上一层目录;
ls
:列出当前目录内容,加上 -l -rt
参数,会更加清晰,明确目录下都有什么;
ls > a.txt
把该路径下的文件名列到a文件里;
ls | wc -l
查看当前目录下文件个数;
ls -lh
查看当前目录下各个文件及其大小;
ls -lht
查看当前目录下各个文件、大小、时间;
ls | sed "s:^:
pwd/:"
在每个文件开头加上绝对路径;
ln -s
查看快捷方式的原始路径;
mkdir
创建文件夹;
rm
删除文件或者目录;
mv
移动文件;
cp path/filename newpath/
拷贝文件到指定路径;
cp -r
如果下面有子文件夹用这条命令,拷贝此文件及其所有子文件夹;
cp -r pathway/. newpathway/
复制文件夹名下所有文件到路径而不是整个文件夹名称及内容复制;
cp {file1,file2,file3} newpath/
复制多个文件;
rm -f ROI*.txt
删除文件名带有ROI的txt文件,-f
强行删除;
find . -type f -name "ROI*.txt" > 1.txt
查找当前路径下文件名中含有ROI的文件存入到1.txt文件中;
find . -name "*" -type f -size 0c > filename.txt
查找当前路径下大小为0的文件,并将文件名输出;
find ./ -name “*.txt” |xargs rm -rf
查找当前路径下以txt结尾的文件并删除;
grep a -wn filename
在文件中递归查找a的行,同时返回行号;w是完全精确匹配,n是返回行号;
chmod +x ./test.sh
给shell脚本添加执行权限;
./test.sh
执行脚本文件;
解压缩各种文件
unzip -d filename.zip
把文件解压到指定路径下;
unzip -n filename.zip
解压文件不覆盖原文件;
unzip -l filename.zip
不解压文件,只看压缩包里有什么;
gunzip filename.gz
解压文件.gz文件;
gzip filename
压缩文件成.gz文件;
zip 1.txt.zip 1.txt
压缩1.txt文件成1.txt.zip;
gunzip -c filename.gz > filename
解压文件并保留原压缩文件;
tar zxvf filename.tgz
解压文件.tgz文件;
tar -jxvf filename.tar.bz2
解压文件.tar.bz2文件 ;
bunzip2 filename.bz2
解压文件.bz2文件;
tar -zxvf filename.tar.gz
解压文件.tar.gz文件;
gunzip -d -c xx.bgz > xx
解压.bgz文件;
unrar x filename.rar
解压rar文件到filename文件夹下,保持原来的文件结构;
zcat filename.gz | head -5
不解压查看文件前5行;
查看文件
head -n
查看文件前n行;
tail -n
查看文件尾n行;
more filename
查看文件
cat filename
: 查看文件;
cat -A filename
查看换行符;
less -SN
打开文本文件,这个是查看文本文件更合适的方式;
view filename
打开文件后输入 :set list
查看文件是以什么分隔,列与列之间是 ^I 为制表符;
wc -l filename
查看文件里有多少行;
cat filename | awk '{print NF}'
查看文件没行有几列
vim
代码文件 #在linux窗口打开了代码,方便看;
insert
更改代码看光标移动位置;
esc
退出insert;
命令模式下输入 /a
,即高亮所有a,按n
查找下一个;
左下角insert不见了,在下面输入 ;
:wq
保存并退出代码; :q!
不保存强行退出;
ctrl+f 查找快捷键;
rename 's/a/b/' *.nii
批量改文件名,把后缀为.nii的文件名a换成b;
数据清洗
uniq a.txt
a文件去重,重复值留一个;
uniq -u a.txt
a文件去重,重复值一个都不留;
uniq -c a.txt
a文件每行重复的字数;
sort -n a.txt | uniq -c
a文件排序后再去重,重复值留一个;
uniq -d a.txt
只显示重复的行;
sort -k2,2 -u test.txt
根据文件中第二列去重;
sort -n -k2 file.txt
按第2列从小到大排序;
sed -i 's/,/ /g' yourfile
把逗号分隔符改为空格分隔符;
sed "/-/d" a.txt > tmp.txt
删除含有-的行;
sed -i '1d' filename
删除第一行
sed -i 'nd' filename
删除第n行
sed -i '$d' filename
删除最后一行
sed -n '1,5p' filename > newfilename
提取1-5行生成新文件
cat file1 file2 | sort | uniq > result
求两个文件的并集,重复的行只保留一行;
cat file1 file2 | sort | uniq -d > result
求两个文件的交集,两个文件中都有的行;
cat file1 file2 | sort | uniq -u > result
求两个文件的差集,只有一个文件中有的行;
cat file1 file2 > file3
合并文件:一个文件在上,一个文件在下;
cat *.txt > ../cat.txt
合并多个以txt为后缀的文件;
paste -d" " file1 file2 > file3
合并文件:一个文件在左,一个文件在右,以空格分隔;
awk '{$1="";print $0}' filename
删除第一列;
awk '{print $1,$2,$3,$9}' filename > new file
提取文件中1,2,3,9列生成新文件;
awk '{print $1,$2,"111"}' a.txt
给文件中第三列赋值111;
awk '{print $1}' A | paste -d' ' B > 1
把a文件的第一列粘贴到b文件输出新文件1;
awk '{sub(/^[ \t]+/,"");print $0}' filename
删除每一行首的空格 ;
awk -F " " '{if ($4==2) $4=0}1' test.txt > a.txt
将test文件中第四列的2替换为0;
awk '{print $0,"a"}' test1.txt > test2.txt
新加一列
cat 1.txt|grep -E 'aaa|bbb' > 2.txt
提取1文件中含有aaa和bbb的行,生成新的文件2;
cat 1.txt | awk 'BEGIN{ORS=","} {print $0}' > 2.txt
把以回车分隔的一列数字变为以逗号分隔的一行数字;
cat temp.txt | awk 'BEGIN{ RS=","; } { print $0 }'
上述操作反过来;
cat test | awk '{FS=" "}{if ($2<2){print $0}}' >> 1
查看test文件,把第二列中的数值小于2的所有行提取出来生成新文件1;
grep a filename
查找文件中含有a的行
循环
按读取一个文件的每一行循环:
for line in `cat filename` #注意,这里是反引号,1左边那个键
do
mkdir path/${line} #以上面文件每一行的信息建立结果输出文件夹
Rscript......... #你要运行的命令
done
未完待续......