第十章 计算层优化之系统优化

在大数据离线计算平台上每天会有上万个任务在执行,对cpu、内存、存储资源由极大的消耗,那么如何降低资源使用率、提高计算效率,就涉及到计算优化的问题。从系统优化方面来讲:

HBO

1)HBO 是根据任务的历史执行情况优化资源分配

2)HBO方案提出:

① 在Hadoop中map task与reduce task的task个数分配是根据用户提交的任务总数据量和每个map task能处理的数据量决定的。

② 这种方式是一种平均的资源分配方法,但是仔细分析每一个map、reduce任务会发现它们处理的数据量会有很大差距,大部分的任务节点仅仅处理一小部分数据,而有些reduce节点处理的数据量又太多,从而导致整个任务的执行时间被拖慢,浪费了资源。总结成一句话:小数据量任务资源浪费、大数据量任务资源不足

③ 这些任务都是定时在是计算平台上执行的,由此想到了利用任务历史执行情况更合理的优化资源分配的方法

3)HBO 分配资源方法:

① 核心思想:基础资源评估+加权资源评估

② 基础资源评估:对于map任务的数量根据用户提交任务的数据量和每个map任务期望执行的数据量来估算;对于reduce任务个数由map任务的输入数据量估算或者根据近几天map任务对reduce任务的输出数据量的平均值进行估算

③ 加权资源评估:通过当前任务近期执行速度与任务预期执行速度作比较,如果小于预期则等比例添加资源,估算出最终的任务数量


CBO

1)基于代价的优化器,根据收集的信息选择代价最小的执行方式

2)CBO组成:

① Meta Manager:优化器在选择优化策略时会使用一些元数据,如数据表元数据,分区元数据,统计信息元数据等。

② Statistics:为优化器提供准确的统计信息,进行优化策略的选择

③ Rule Set:每一条优化规则都是特定场景下的优化点,优化器根据代价模型选择启用哪些规则。规则分为:

    + Substitute Rule:优化了一定好的规则

    + Explore Rule:优化后需要考虑各种因素的规则

    + Build Rule:优化后不能再次优化的规则

④ Volcano Planner Core:把所有信息统一处理,根据代价模型,涉及代价最小的方案

3)Volcano Planner Core:

① planner需要的数据有规则集、统计数据(每个节点元数据、RowCount值、Distinct值等)、代价模型(代价即各种资源,如IO开销、cpu等。根据不同的操作符计算不同的代价,然后选择代价最小的策略)

② Planner的输入是查询语句经过编译后生成的计划树

③ 规则匹配:Planner将计划树的每个节点进行注册,注册的同时会在规则集中匹配所有可以匹配的规则,所有与节点可以匹配到的规则加入到队列中

④ 规则应用:从队列中pop出一个匹配的规则进行优化,优化成功产生新的节点,重复之前的注册和匹配过程。Planner会对队列中所有规则进行优化,包括新产生的节点的规则

⑤ 代价计算:发生在产生的新节点注册阶段,计算规则如下:

    + 如果代价不存在或者子节点的代价还没计算,则忽略

    + 如果有代价,则将本身的代价和子节点的代价相加,若小于目前的最优策略,则认为当前节点是最优的。还会对其父节点的代价进行迭代计算,进而估算整条链路的代价

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,817评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,329评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,354评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,498评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,600评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,829评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,979评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,722评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,189评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,519评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,654评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,940评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,762评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,993评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,382评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,543评论 2 349

推荐阅读更多精彩内容