从0到1搭建自助分析平台

一、什么是自助分析平台

自助分析平台是构建在大数据平台之上的,依托于大数据平台的数据研发能力,通过统一的数据服务,实现对数据查询、分析的统一管理,为企业业务分析提供高效的数据决策支持,同时也避免数据工程师陷入繁杂的提数需求中。自助分析平台是有计算机基础的业务人员能够快速上手的前端产品,既要有大数据的处理性能,有需要有简单好用的可视化分析能力,只有让业务人员能够快速掌握使用方法,和公司的业务结合起来,自助分析平台才有价值。其实,一直以来,各大公司的数据分析平台都只有一个目标—— 干掉Excel。

image

二、自助分析平台该有哪些模块

image

上面已经介绍了,自助分析平台是用来查询数据,探索数据的,需要具备Excel已有的功能,还要比Excel做的更好。

  • 支持多数据源接入

自助分析平台要能够支持多种数据源、不同数据类型文件的接入,能够让数据工程师和业务人员快速的把数据导入到自助分析平台中。需要支持传统的关系型数据库、Hive、文件导入(Excel、CSV、TXT等)。

  • 多维度分析

能够对导入的数据进行快速查询、过滤、聚合、排序、关联等动态操作。比如业务人员已经有一些用户基本信息,它能够通过导入用户名,通过用户名关联到对应的用户分析数据。并能够对不同类型的用户进行分组聚合操作。以上所有的操作需要实现拖拽式,不需要让业务人员写一行代码。

  • 丰富的可视化

需要支持常用的可视化图形,如饼状图、环图、同轴曲线图、柱状图、散点图等,用户需要绑定自己导入或者通过平台清洗好的数据,既可以快速的生产对应的分析图表,制作可视化报告。

  • 权限管控

自助分析平台是对公司所有的业务人员使用的,需要有对应的权限管控。比如A用户制作的数据图表,B用户是不能够查看的,只有A赋权给B后才能查看。自助分析平台中的数据也要进行权限管控,比如敏感数据不能开放所有用户,下载数据需要有流程审批等等。

  • 高性能

数据分析查询要快、自助分析要快、可视化要快。很多自助分析平台最终变成了数据下载平台,其中很大一部分原因就是不够快,虽说大数据了比Excel快多了,但是实际业务探索中,很多时候数据量就是百万以内的,要是还没有Excel快的话,人家为什么要用你的平台呢?所以,不管是数据量大,还是数据量小,都要快!在技术上是否要考虑大数据量和中小数据量使用不能的查询计算引擎呢?

三、自助分析平台架构

image
  • 自助分析引擎

对于超大数据量的复杂查询分析,我们可以使用Spark提交任务的方式来实现自助分析。对于中小数据量的数据我们使用MPP数据库实现快速查询。

  • 可视化

我们可以使用echarts支撑多种类型图表展示,或者使用superset等开源自助分析项目进行展示。

  • 权限

为做到相互隔离和数据安全,后台管控系统通过条件限制控制数据的授权,对手机号、身份证号、邮箱等敏感信息管控端采用加密算法防止数据泄露。

四、总结

实际中业务人员和IT团队对于自助分析平台的搭建都有自己的想法,也想通过数据来给公司去做一些事情,所以在建立自助分析平台时,可以和业务人员不断的沟通,先定一些主题数据,做成果展示,和业务人员以及领导分享,让其参与评价和建议,不断优化和改善,当相关人员都有参与感时,自助分析平台才会持久发展。

最后,还是要提醒一下,自助分析平台的目的是“干掉Excel”,让所有的分析结果存储在线上,千万不要让其沦为数据下载平台。

历史好文推荐

  1. 从0到1搭建大数据平台之计算存储系统

  2. 从0到1搭建大数据平台之调度系统

  3. 从0到1搭建大数据平台之数据采集系统

  4. 如何从0到1搭建大数据平台

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,602评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,442评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,878评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,306评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,330评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,071评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,382评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,006评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,512评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,965评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,094评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,732评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,283评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,286评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,512评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,536评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,828评论 2 345