音视频相关知识(待续)

背景

作为一个视频模块相关的QA,为了更好地保障视频搭配,编辑(包括特效,元素等),保存,这样一个流程的上线质量,必然要对视频相关的基础知识有一定程度的了解,比如视频导入需要准备什么测试数据,这里面就有很多知识点需要学习,那么我们接下去讲讲QA需要了解的部分视频基础知识吧

视频是什么

通俗地讲,视频是有一张张图片按照先后顺序组成的,在一段时间内连续播放(这里如果是有声的视频,也会有音频)
专业的讲,参考:https://baike.baidu.com/item/%E8%A7%86%E9%A2%91/321962?fr=aladdin

视频的基础属性

因为视频是由图片组成的,所以这里就会涉及到图片的一些相关知识,比如:像素,分辨率,颜色模式,颜色深度,图片格式等等,详见://www.greatytc.com/p/498dc14cd96f
本文主要介绍视频相关的一些信息

帧,帧数,帧率

:上面说到视频是由一张张图片组合成的,而帧就是指每一个画面,我们平时所看到的图片是RGB格式,视频的帧是YUV格式
帧数:就是帧的总数量,就是有多少帧
帧率:每秒传输的帧数,帧数/时间,单位为帧/每秒
备注:
帧率越大,即每秒传输的帧数越多,视频越流畅,视频的大小也会越大;当视频帧率不低于24fps时,人眼才会觉得视频时连贯的,称为“视觉暂留”现象。

视频格式

常见的视频格式有:MP4、MKV、AVI等

视频压缩

原理
消除冗余
流程

编解码器

编码器:将图片或者视频流编码成某种格式的压缩文件
解码器:将文件进行解码,产生于原始相同或者相似的视频流

无损压缩
优点:解码后的图像和原始图像完全一致
缺点:效率低
有损压缩
优点:压缩效率高
缺点:解码图像质量与原图相比有所下降
压缩方法
大多采用查找空间和时间上的冗余信息来达到压缩目的,详见下面的视频编码器

视频编码器

从三个方面进行编码:时域模型,空域模型(时空),熵编码器
时域模型
作用:消除连续帧之间的时域冗余
一般情况下相邻两帧之间具有比较大的相似性,时域模型通过预测帧来点击时域冗余;预测器通过当前帧之前或之后的一帧或者多帧图像作为参考,通过运动补偿算法等技术降低预测帧与当前帧的差别
输入:未压缩的原始视频流
输出:当前帧与预测帧详见的结果(残差图像)和各个模型参数
补充:
运动补偿算法:是预测图像编码的一种
编码器根据过去或者将来的图像帧产生当前帧区域的预测,用当前图像减去预测图像得到相应的残差图像的编码方法

空域模型
利用相邻像素点的相似行,消除残差图像的空间冗余,编码器对残差图像进行频域变换,再量化,得到相应的残差系数
输入:残差图像
输出:残差系数
熵编码器
对时域参数和变换系数进行压缩消除存在的统计冗余。并输出压缩后的比特流等属于用于视频传输和存储

视频码率

视频编码引出的I帧,P帧,B帧是什么?

在H.264压缩标准中,I帧、P帧、B帧用于表示传输的视频画面。
I帧:英文全称:intra-coded-picture,帧内编码图像帧,俗称关键帧,这一帧画面完整地保留,不需要依赖上下帧可以独立进行解码

色彩空间

视频质量评估

主观感受

但是观察者的感受会被其他东西影响,比如环境,立场,场景,注意程度,最近效应等等

客观评价

1、峰值降噪比(PSNR):

全称Peak signal-to-noise ratio,原图像与处理图像之间均方差相对于(2n-1)2的对数值,其中n是每个采样值的比特数
一般取值范围:20-40;值越大,视频质量越好。
缺点:不太能很好地反映人的主观感受,且需要原图进行比对

2、结构相似性SSIM(结构相似性):

全称:Structural SIMilarity,基于样本x和y的三个比较衡量:亮度 (luminance)、对比度 (contrast) 和结构 (structure)。一般取值范围:0-1,值越大,视频质量越好。
缺点:计算稍复杂,
优点:其值可以较好地反映人眼主观感受。
计算参考:https://zhuanlan.zhihu.com/p/50757421

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350