快如闪电:Linux多线程压缩软件pigz和压缩神器zstd、p7zip

前言:pigz和zstd这两个都不支持直接压缩文件夹,如有支持多线程同时支持压缩文件夹的压缩软件(XZ除外),麻烦评论区留言,谢谢。

pigz简介

pigz是GZip的并行版(pigz,即 Parallel Implementation of GZip),作者为Mark Adler。
它充分利用了现代多核处理器的性能,大幅提高压缩解压的速度。

pigz安装

#Ubuntu:
apt install -y pigz
#CentOS:
yum -y install pigz

pigz实例

1、压缩单个文件

pigz -k your_file_name
# 加上-k选项保留原始文件,会在当前工作目录获得压缩后的your_file_name.gz 文件

2、解压单个文件

unpigz -d your_file_name.gz
# 同样,如果需要保留.gz文件,记得加上-k选项

3、压缩文件夹

tar -cvf - dir1 dir2 dir3 | pigz > output.tar.gz
# pigz没有压缩文件夹的选项,只能压缩单个文件。若想压缩文件夹,可以结合tar使用

4、解压文件夹

pigz -d output.tar.gz
# 这样得到的是output.tar,再通过tar解打包就好了
tar -xzvf output.tar.gz    # 也可以直接用tar命令解压

pigz常用参数

-0 ~ -9 压缩等级,数字越大压缩率越高,速度越慢,默认为6
-k --keep 压缩后不删除原始文件
-l --list 列出压缩输入的内容
-K --zip Compress to PKWare zip (.zip) single entry format
-d --decompress 解压缩输入
-p --processes n 使用n核处理,默认为使用所有CPU核心


ZSTD简介

Zstandard 简称Zstd,是一种快速的无损压缩算法,以 zlib 级为目标的实时压缩场景和更好的压缩比。它可以将压缩速度交换为更高的压缩比率,同时支持非常快的解码器。Zstd压缩包为 .zst 格式。

Zstd安装

# Ubuntu
apt install -y zstd
# CentOS
yum install -y zstd
# 编译安装
git clone https://github.com/facebook/zstd.git
cd zstd; make; sudo make install

Zstd实例

1、压缩单个文件

zstd -T0 your_file_name
# 加上-T0选项使用所有CPU核心,会在当前工作目录获得压缩后的your_file_name.zst 文件

2、解压单个文件

zstd -T0 -d your_file_name.zst

3、压缩文件夹

tar -cvf - dir1 dir2 dir3 | zstd -T0  > output.tar.zst
# zstd没有压缩文件夹的选项,只能压缩单个文件。若想压缩文件夹,可以结合tar使用

4、解压文件夹

zstd -T0 -d output.tar.zst
# 这样得到的是output.tar,再通过tar解打包就好了

Zstd常用参数

 -#     : 压缩级别(1-19,默认值为3)
 -d     : 解压
 -o file: 结果存储在文件中
 -f     : 在没有提示的情况下覆盖输出并(解压)压缩链接
--rm    : 成功解压缩后删除源文件
 -h/-H  : 显示帮助/长帮助并退出
 -v     : 详细模式
 -q     : 静默输出
 -l     : 输出zstd压缩包中的信息
--ultra : 启用超过19级,最多22级(需要更多内存)
 -T#    : 使用几个线程进行压缩(默认值:1个,0位自动使用所有CPU核心)
--format=gzip : 将文件压缩为.gz格式


p7zip简介

p7Zip是一款用于Linux平台的高压缩比的存档格式 7z 的管理器。通常使用 7-Zip 的 7z 格式能比使用 zip 格式的压缩文件小30-70%。
7z 是一种主流高效的压缩格式,它拥有极高的压缩比。在计算机科学中,7z是一种可以使用多种压缩算法进行数据压缩的档案格式。

p7zip安装

#Ubuntu:
apt install -y p7zip
#CentOS:
yum -y install p7zip

p7zip实例

1、压缩文件/文件夹

# 压缩文件(支持单文件及多文件)
7za a -r mydata.7z ./*
# 压缩文件夹
7za a -r mydata.7z ./*

2、解压

7za x mydata.7z

p7zip常用参数

a 添加文件/文件夹到压缩包
x 解压压缩包到当前目录
-r 递归所有的子文件夹
-t 指定压缩类型,默认是7z,也支持zip、bz2等
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,277评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,689评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,624评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,356评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,402评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,292评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,135评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,992评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,429评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,636评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,785评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,492评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,092评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,723评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,858评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,891评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,713评论 2 354

推荐阅读更多精彩内容