让网站运营更简单
让搜索引擎更喜欢的网站
立即咨询
福利,定制网站送小程序, 名额有限,先到先得
自助分析又称自助BI,是数据急剧增长环境下,商业智能(BI)为适应环境,不断进化的产物自助BI的出现,将数据分析的范围逐渐从数据科学家、数据分析师和专业IT人员扩大到业务人员『数据导向,人人都是数据分析师』的数据分析文化,正在优化企业的决策流程,加速企业的数字化转型。
自助分析又称自助BI,是数据急剧增长环境下,商业智能(BI)为适应环境,不断进化的产物自助BI的出现,将数据分析的范围逐渐从数据科学家、数据分析师和专业IT人员扩大到业务人员『数据导向,人人都是数据分析师』的数据分析文化,正在优化企业的决策流程,加速企业的数字化转型。
01 为什么要建设自助分析平台?自助BI之前,数据分析能力主要掌握在数据科学家、数据分析师和有IT背景的技术人员手中,他们一般集中在企业技术部门,是个中心化的数据服务场景在大数据时代,数据分析需求日益增加的情况下,中心化数据服务场景的弊端日益显现。
需求开发耗时长:从前期需求评审、中期需求开发、后期的数据验收,每个环节都需要跟需求方沟通、确认,耗时较长报表展现不灵活:报表展现一般为列表或简单的折线图、柱状图,不能灵活的诠释数据意义技术部门负担重:所有数据需求处理都压在技术部门,技术部门的吞吐能力直接决定着数据流通速度,而数据流通速度往往直接影响着分析决策的时效性。
02 自助分析平台建设要解决的问题Gartner将自助式BI(SSBI)定义为『终端用户在被批准和支持的平台或工具组合中设计和部署自己的报告和分析』从定义中我们可以看出自助分析平台需要解决数据管控和可视化设计和部署两个问题。
数据管控:数据管控主要解决什么人看什么数据,即数据权限问题需要一套安全、高效的数据管控机制可视化设计和部署:提供灵活的数据分析能力和高度可配置的图表设计和部署能力主要用于数据自助分析和生成图表丰富的数据报告。
03 自研解决方案3.1 数据开放平台在不暴露隐私数据的前提下,通过多种安全机制实现数据授权,为使用人员提供 SQL 交互式查询分析、数据定制下载能力,对分析结果提供自助式报表配置功能架构设计我们将数据仓库、数据集市中的数据授权给各部门、子公司或 ISV 进行查询分析。
为保证数据安全和企业间数据相互隔离,在实现过程中定义了专区的概念,一个专区可以理解为一个部门、子公司或 ISV专区由后台管控系统负责开通,专区内设管理员和操作员,管理员负责添加操作员账号,操作员可在前台系统内进行查询分析、数据下载、报表配置等操 作。
架构图如下图所示:
专区内又分为实验区、生产区和报表区,具体概念如下表所示:专区:为企业提供数据服务而开通的专属区域,包括实验区、生产区、报表区三部分专区间数据相互隔离实验区:专区中的开发环境,可进行SQL交互式查询、数据发布等操作。
生产区:专区中的生产环境,主要完成实验区已发布数据的周期性更新功能报表区:为关系型数据库或集市主题数据,存储周期性更新的查询分析结果技术实现在技术实现上分为后台管控系统和前台查询系统两部分后台管控系统:。
使用人员为数据部门的数据管理人员,管控端主要完成数据仓库、集市等元数据同步、专区开通、数据授权等操作数据管理人员根据各部门、子公司或ISV申请,开通专区账号,账号开通后由专区负责人添加操作员账号专区账号开通后,数据管理人员根据数据授权申请,向企业专区进行数据授权,授权流程如下图所示:。
前台查询系统:前台查询系统适用人员主要为部门、子公司、ISV的业务查询分析人员。前台查询系统对查询分析结果提供定制下载、API接口调用和报表配置三种数据输出能力。
为降低分析人员使用门槛,前端查询采用sql方式进行交互式即席查询,后续考虑集成python支持更丰富的分析模型,查询界面如下图所示:
3.2 数据可视化平台数据可视化平台已与数据开放平台打通,业务分析人员可将数据开放平台中发布的报表数据通过可视化平台进行可视化探索分析为保证数据的时效性,数据可视化平台还具有实时数据分析能力技术实现我们通过对Apache Superset进行二次开发,与自研的数据开放平台打通,来完成数据的可视化探索分析工作。
数据可视化平台的数据源分为实时和离线两种:实时数据源:来源于实时数据仓库,数据存储为Apache Druid。离线数据源:来源于数据开放平台,数据存储为HDFS。
自助BI的出现标志着商业智能分析正在从『技术主导的报表模式』向『业务主导的自助分析模式』转变去中心化的数据服务场景,拉近了数据与业务人员的距离,使数据科学家、分析师和IT人员摆脱繁杂的数据需求开发,专注于复杂的数据需求分析,更好的支持分析决策。
本文图文来源于网络,版权属于原作者或网站,内容为作者观点,内容版权归原作者所有、本站不对文章中的任何观点负责,内容只用于提供信息阅读,无任何商业用途。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站(文章、图片、音频、视频)有涉嫌抄袭侵权/违法违规的内容,请联系管理员,一经查实,将立刻删除、维护您的正当权益。
扫一扫,关注我们