HDR 与 Androids GUI 系统

翻出了4年前实习期间手绘梳理的Android图形框架,其实有些细节都记不清了。 所以这里再文字梳理一边,加深理解也作为一个积淀,接下来希望能梳理清楚Android系统如何进行HDR上屏的。

先笼统来说,我们知道,我们将某个图像在Androids设备上显示涉及下述环节:
1. 我们将要显示的数据交付给Android系统(Canvas、OpenGLES、Vulkan),
2. Android系统将要显示的内容处理成相应的buffer(GUI+芯片),
3. 显示硬件根据buffer数据使显示屏每个像素发出对应的光(LCD、OLED屏幕设备)。

GUI架构处理的就是上述的第二步。

———— ———— ———————————————————————————

推荐相关文章:

从Android的基本View组件解释view hierarchy如何与Android GUI协作:

https://www.zhihu.com/question/25811504

GUI最重要成员Surface、SurfaceFlinger介绍:

Android 卷I-Surface系统,从Android的基本View组件解释view hierarchy如何与Android GUI协作:

https://wiki.jikexueyuan.com/project/deep-android-v1/surface.html

SurfaceFlinger 图形系统:

https://blog.csdn.net/freekiteyu/article/details/79483406

SurfaceFlinger 用于应用程序的典型绘图流程:

https://blog.csdn.net/xuesen_lin/article/details/8954840

SurfaceFlinger如何OpenGLES联动起来:

https://blog.csdn.net/xuesen_lin/article/details/8954553

承载图像信息的Buffer的介绍:

罗神的Android帧缓冲区(Frame Buffer)硬件抽象层(HAL)模块Gralloc的实现原理分析: https://blog.csdn.net/Luoshengyang/article/details/7747932

———— ———— ———————————————————————————

从手绘纸最上面开始说吧,Android 框架提供了各种用于 2D 和 3D 图形渲染的 API,可与制造商的图形驱动程序实现代码交互,

应用开发者可通过三种方式将图像绘制到屏幕上:使用画布OpenGL ESVulkan。2D指的没有开启硬件加速的Canvas,但是针对Android 4.0以上的系统,默认开启了硬件加速,所以我们基本上可以理解图像绘制目前市面上Android手机都会用到GPU处理。

不过不管是2D还是3D、Canvas还是gles或是Vulkan,我们都会把绘制数据画到Surface上去。注意这里Surface不等于我们常说SurfaceView。最直接理解,Surface就是作为SurfaceFlinger的代理,SurfaceFlinger作为系统服务,是系统资源,供各个App使用,每个App要去用这个资源就需要代理交接,而这个代理对接什么呢?window,窗口。

Window拥有一个Surface,在Surface里绘制Window里的内容。一个application通过ViewRoot向Windows Manager Service申请创建窗口,WMS也是系统服务负责分配窗口资源,Windows Manager为每一个窗口创建Surface来让application在上面绘制各种物体。我们看到android机上各种图案都是通过一个个win来组织的,win有很多种 比如systemWindow,status bar(电量、wifi、信号那块)、navigation bar(home页,前进,后退)、还有我们开发者最熟悉的Activity对应的win,application window。各种window,z轴叠加,如果布局不好会挡住,这也是为什么各种刘海屏幕、曲面屏幕,手机厂商都有一定的适配工作。

Activity内的各种子view布局就灵活很多,最终布局也会由ViewRoot来管理,管理的结构是一个叫View Hierarchy(视窗继承关系)根据这个关系,View Root把Activity里的各种子View 布局好规划好映射到 Surface里的buffer里去,这样子,当我们一个View内容发生改变的时候,我们不用整个surface里面的buffer更新,只用更新部分区域,这个过程就是下图中的invalidate和draw。

说到这里,可以引出 SurfaceView,它独立于Activity,有自己的线程(当然 生命周期还是需要依附于Activity),有自己独立的window,我们知道window是z轴排列的,所以一般SurfaceView是与Activity是存在“覆盖”关系的,在有的比较低性能的手机上我们切换应用的时候,可以看到activity与surfaceview是分开的,activity的一般会布局上“挖个透明区域”留给SurfaceView显示。由于SurfaceView的独立线程特性,使得它很适合用来做一些相对耗时可能会block的事情,比如视频媒体相关的。

同时媒体展示还有一个常用的控件,叫做TextureView,参考到Google Android Developer:https://developer.android.com/reference/android/view/TextureView,这个控件通过SurfaceTexture可以使用GPU资源,这点跟SurfaceView一样,但是它没有自己独立的window,它跟其他控件一样从属于ViewRoot,对应的是整个Activity的window,在View Hierarchy结构中,也是为什么这个控件可以轻易的“ moved, transformed, animated, etc.”。还有一个东西叫GLSurfaceView,这个是封装好了的SurfaceView,也能够配置HDR色域,而且吧这个控件游戏常用到,也就是说,HDR技术也可以落地到游戏上去。

一个有独立的window,一个从属于ViewRoot的window,所以SurfaceView为什么transform往往需要开发者自行开发,但是ViewRoot早已预设了控件transform的能力,SurfaceTexture沿用就好。

到这里简单描述一下我理解得的 常见的activity、surfaceview如何“承上”(承载App里各种view)了,接下来就是比较难的Android GUI的内容了,我把它概括为启下?把我们期待App的中各个区块的内容填充告诉到Android 系统服务。

启下的起点就从surface开始吧,

上面我们提到了 surface,surface在我看来是两个东西组成,一个是buffer queue,实现一套生产者消费者模式;一个是缓存,buffer queue传送的东西,存储着我们“承上”来的绘制或者素材数据,比如我粗暴地理解成bitmap。

消费者生产者模式,我们的应用、系统应用、各种窗口生产出要上屏的内容,这些内容以surface的形式,交由给SurfaceFlinger进行整合生产出整块屏幕显示内容给Display HAL层去上屏;怎么交由呢?surface中还有一个可以跟SurfaceFlinger系统服务打交道的代理,我们应用的surface当然在我们应用进程,要跟 SurfaceFlinger 打交道需要跨进程,所以不是即时的,我们常常说屏幕的刷新帧率多少,比如120hz屏幕,其实也对应着SurfaceFlinger需要每秒钟整合多少次屏幕内容,或者我们可以理解成每1/120s,SurfaceFlinger就把这段时间,各个进程送来的上屏内容收集,然后一层一层的摞起来,整合成一个整个屏幕的画面数据;SurfaceFlinger与Display HAL之间也有一个 buffer queue, 一个存放当前上屏数据,一个存放着下一个上屏数据,120hz屏幕每1/120s交替一次。

以上就是根据我的理解大致的描述发生在Android系统服务中上屏过程,如若有什么地方说的错误的,望指正;

那么HDR这个能力是怎么在Android的上屏过程中实现的呢?我通过上网查阅资料以及分析Dump下来的SurfaceFlinger的信息,大致脑补出了一个workflow,仅供参考:

首先,我们知道,对于上屏内容处理,SurfaceFlinger处理的单元是Layer,确实每一Layer都有字段标识它是不是HDR以及HDR mode。

所以对于第三方开发,我们需要做的就是把HDR信息配置到window上去,这个信息最终会配置到对应的Layer上。Google Android Developer有介绍一些方法。https://developer.android.com/training/wide-color-gamut

然后我们知道SurfaceFlinger每次要处理很多Layer,一般UI layer的数据是8bit sRGB,而如果有一个layer是 10bit HDR RGB。与此同时平时厂商介绍手机的时候,色域的介绍基本上都是覆盖P3 or DCI-P3色域百分之多少,其实也就是说,即使layer是 10bit HDR,其实就目前的手机屏幕支持的色域能力而言,我们手机也展示不了真实的BT 2020的色域下的表现,是转到了P3色域下的表现。所以在这个屏幕的广色域模式下,任何颜色最终都是映射到P3色域上。

SDR的layer经过一次 Color Gamut转化,将BT709的颜色映射到P3的色域下;而HDR的layer除了需要经历Color Gamut转化,将BT2020的颜色映射到P3的色域下之外还需要color-transfer的转换,比如说PQ模式,由于屏幕硬件设备的Gamma值是固定的,假定是值a,芯片可以通过对PQ模式下Layer的RGB值乘上一个系数,Color-Transfer(PQ)/ a , 最终也实现了对应的Color-Transfer的作用,当然可能因为手机屏幕远达不到HDR标准值的亮度值要求,Color-Transfer(PQ)值可能被优化过,相较之下 iOS的HDR能力反而做的好得多。

接下来谈下HDR跟屏幕之间的关系。

目前常常各大厂商PR稿在介绍屏幕能力的时候会着重强调自己的屏幕是OLED屏幕。其实OLED屏幕之前,主流的手机的屏幕是LCD屏幕。OLED屏幕虽然有很多被人吐槽的点,比如说烧屏、低频PWM调光晃眼睛,但是它的发光特性却非常适合HDR功能。OLED屏幕是屏幕整齐排布的是自行发光体,而LCD屏幕是屏幕排布的只是滤镜元件,亮度通过背光实现,有点像是皮影戏,后面打着大灯控制亮度,前面带有颜色的滤镜片控制颜色,这种背光的模式导致即使屏幕要显示带有黑色的画面,但是黑色区域也不是真正的无光,只是相对的黑,但是OLED屏幕就可以控制黑色区域完全不发光就可以实现“极致的黑”,所以当分母为0,亮度比就可以非常非常大,所以OLED屏幕的亮度比远大于LCD屏幕。而我们知道,HDR技术的目的是让明暗细节都能在同一帧画面中体现出来,OLED的屏幕的特性就与HDR目的非常契合,所以移动端的HDR技术常常和OLED屏幕联系起来。

絮絮叨叨先说到这里了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容