BI全称Business Intelligence,又称商务智能,是指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
换句话来说,BI是一套完整的解决方案,可以将来自企业的不同业务系统(如ERP、CRM、OA、BPM等,包括自己开发的业务系统软件)的数据,提取出有用的数据进行整合清洗,在保证数据正确性的同时,进行数据分析和处理,并利用合适的查询和分析工具快速、准确地为企业提供报表展现与分析,为企业提供决策支持。
如图所示,BI最终展现给用户的信息就是可视化报表或视图。需要注意的是:报表是一个结果,只能达到查询的效果,查询仅仅只能告诉我们结果是什么、有没有问题。而基于可视化图表背后的数据分析才能告诉我们问题的原因是什么,只要问题发现了,原因也找到了,那么企业业务人员或者管理人员如何去决策就会变得简单与轻松。
企业内部有大量的机会可以通过优化业务流程和集中决策来节省资金。在业务遭遇大挫折时,商业智能BI能带来一线曙光,产出显著的投资回报率ROI。商业智能BI在企业中的应用主要表现在如下3个方面:
(1)可视化报表的展现
在BI中,使用柱状图、饼状图、折线图、二维表格等图形可视化的方式将企业日常的业务数据(财务、供应链、人力、运营、市场、销售、产品等)全面展现出来,再通过各种数据分析维度筛选、关联、跳转、钻取等方式查看各类业务指标。
这些分析展现内容基本上是围绕各个业务部门日常工作展开的,这里面有很多的业务分析内容可能需要复杂的计算规则,需要从不同的业务系统获取数据,并且这些数据在业务系统软件中都是很难直观看到的。
这个层次的可视化报表分析就是一种呈现,让用户对日常的业务有一个清晰、直接、准确的认知,同时解放了业务人员手工利用Excel的各种函数做汇总分析、制图的工作,提高了工作效率。
比如,财务部门会关心今年的营业收入、目标完成率、营业毛利润率、净资产收益率等;销售部门会关心销售金额、订单数量、销售毛利、回款率等;采购部门会关心采购入库金额、退货情况、应付账款等等。
(2)数据的“异常”分析
数据的异常分析利用的是对比分析法。在可视化报表上,如果业务人员发现了一些数据指标反映出来的情况超出了日常经验判断。这时就需要要对这些 "异常" 数据进行有目的的分析,通过相关联的维度、指标使用钻取、关联等分析方式探索出可能存在的原因。
例如,一个网站或产品,正常情况下每个月的平均用户注册量是10万左右。但是发现在今年的 8 月份,会员注册量达到了 23 万,这就是一种 "异常",远远超过经验判断和预期。这时我们就要去分析判断是因为市场部门的推广,还是做了大型促销活动导致的。
(3)业务建模分析
业务建模分析通常是由精通业务的业务人员提出,通过合理的建模找出业务中可能存在的问题,将其反映在可视化报表上,并最后要回归到业务,形成决策并不断优化的一个过程。
业务建模简单来说也可以理解为一种业务分析的逻辑思维模型,只是用数据、图表化的方式将它们有效组织起来去验证我们对业务分析的逻辑判断。它可由一个或多个图表组成,也可通过一组或多组数据图表支撑,依据企业的业务模型来确定。
业务建模分析区别于前两点,它是一种更深层次的业务数据的主动设计和探索分析。需要更加深入业务,围绕一个一个业务分析场景展开,对业务的认知要足够深。
这里需要注意的是具体的分析场景很难由专业的BI开发人员来提出。业务分析建模需要由专业的业务人员且具备数据分析思维意识的人员来推进和主导,再辅助合适的数据分析、挖掘或统计工具,这样商业智能BI的价值才能在企业得到充分的发挥,数据的价值也才会得到充分的体现。
(1)新基建推动产业数字化迅猛发展
2020年3月,中央在政治局常委会议上提出,要加快5G网络、数据中心等新型基础设施建设。“新基建”政策的提出将加速大数据产业发展,BI商业智能作为大数据产业落地的重要场景,行业迎来新的发展契机。
(2)国际环境日趋复杂,软件国产化替代加速
受美国技术出口管制等影响,中国大力推动信创产业体系建设,BI作为信创产业体系中的重要应用软件,是支撑企业数据分析的重要系统。尤其数据的挖掘分析涉及企业核心业务数据,从应用安全性、对业务需求理解角度考虑,BI国产化替代将是未来发展趋势。
(3)企业数字化转型,助力BI新一轮发展
在数字化时代,企业面临用户需求变化、业务流程变化、以及数据量不断增长等一系列挑战,数字化转型已成为企业核心战略,是企业未来业务创新和增长的重要驱动力。而BI是让企业快速认知数字化价值的最佳手段,因此BI也将迎来新一轮发展。
(1)商业智能BI在我国的发展情况
当前我国已进入国际BI及DA(数据分析)领域的第一方阵,并成为发展最快的国家之一,但仍和美国有一定差距。
2018年中国商业智能(BI)软件行业规模约为16.6亿元,同比增长25.8%;
2019年中国商业智能(BI)行业软件收入规模在21亿左右,增长率达到27.1%;
(2)商业智能BI在企业的应用情况
(3)企业应用BI最期待获得的数据价值
(1)功能结构弱势相比明显
(2)难以应付瞬息变幻的商业环境
对于BI企业而言,无论是产品还是业务层面,当下的商业环境都提出了更高的要求。聚焦于业务本身,如何在场景中切实有效地利用数据已经成为当下商业智能BI企业的核心痛点。
不同于信息化建设的目标是降本增效,数字化建设都是以实现业务增长、创造新的商业模式为核心目标,因此,所有技术投入都需要以业务价值、提升ROI为核心衡量标准,都需要与业务场景所绑定。
其次,BI的使用对象由原先的IT部门,延伸到决策层和业务部门,对满足业务需求的产品功能提出更高要求。
在企业内部,BI平台对于具体业务场景的理解与采用何种模型或算法处于同等重要地位。换句话说,能否深度理解业务场景,一定基础上决定了BI平台技术能否真正落地,以及是否真正能够帮助企业实现降本增效的核心目的。
若从客户角度出发,企业不再只需要一个成熟的BI工具,还需要厂商通过对垂直业务场景的理解来构建相应的数据指标,并搭建场景相关模型,从而通过差异化方案实现应用价值的最大化。
过去,企业大多利用BI实现自助报表分析、可视化图表展示等;如今,随着机器学习、深度学习等人工智能技术成熟,越来越多的AI技术被应用到BI工具中;BI与AI的融合,企业能够通过分析过去的数据实现对未来的预测,实现决策智能化。
业务需求应结合企业发展阶段、企业业绩目标、部门业绩目标而定,主要是确定BI建设的关键KPI指标。关键KPI指标不应过多,否则会造成数据分析的精力分散、重点缺失。比如销售部门重点关注收入指标,运营部门重点关注成本指标,提升业务决策效率。
(1)明确公司各业务线指标
用于衡量公司整体目标达成情况的指标,主要是决策类指标,T1指标使用通常服务于公司战略决策层
T2:业务策略层面指标
为达成T1指标的目标,公司会对目标拆解到业务线或事业群,并有针对性做出一系列运营策略,T2指标通常反映的是策略结果属于支持性指标同时也是业务线或事业群的核心指标。T2指标是T1指标的纵向的路径拆解,便于T1指标的问题定位,T2指标使用通常服务业务线或事业群
T3:业务执行层面指标
T3指标是对T2指标的拆解,用于定位T2指标的问题。T3指标通常也是业务过程中最多的指标。根据各职能部门目标的不同,其关注的指标也各有差异。T3指标的使用通常可以指导一线运营或分析人员开展工作,内容偏过程性指标,可以快速引导一线人员做出相应的动作。
(2)明确分析模型方案
S:为了达成上述目标我采取的策略是什么?
M:这些策略随之带来的数据指标变化有哪些?
(3)明确指标对应的埋点和存储逻辑
(a)想做的的指标没有埋点所以无法获取;
(b)有埋点但是数据未传;
(c)数据缺失、错误严重。
我们需要整理出这些存在的问题并将问题归类,找到相应数据仓库、埋点研发负责的部门寻求配合,沟通存在的问题并商定问题的解决方案,明确协作的过程及责任划分,确认排期。这个过程中,建议每周将指标体系搭建项目做一次进度汇报,让相关部门及上级了解目前具体的项目进展,促进部门之间的配合,有利于项目正常进行。
(4)梳理指标的准确性,取数校验
除此以外,随着业务的发展,不同时期产品的衡量指标会变化,我们关注的重点指标可能改变,会有一些新指标的增加及旧指标的淘汰,我们需要将指标体系持续的更新优化以满足业务的需要。
(6)宣贯、存档、落地
宣贯:就是在完成整个指标体系搭建后,要当面告知所有相关业务人员,最好开会并邮件。一方面为下一步工作做铺垫,另一方面是为了让所有相关人员知晓已完成;
存档:对指标口径也业务逻辑进行详细的描述存档,如xxx功能如渗透率=该功能的日点击人数/日活。只有完成这一步,之后的人在查阅时才能看懂是什么意思;
落地:就是建立核心指标的相关报表,实际工作中,报表会在埋点前建好的,这样的话一旦版本上线就能立刻看到数据,而且也比较容易发现问题。
整个指标体系的搭建更多工作是由数据分析师来完成的,产品经理需要配合分析师选择并确认指标,这也是在建立之初最重要的一点。
企业的数据可能是来自外部系统,也可能来自内部的不同业务系统,比如CRM系统、ERP系统,或者业务人员的Execl表格, 这些统称为数据源。各种各样的业务数据通过ETL抽取之后形成面向业务主题的数据集市。
根据数据分析指标体系收集相关数据,和业务系统,结构化或半结构化的报表等数据进行对接,获取所需数据的表格和字段。
(2)ETL数据处理
比如,针对数据处理常遇到的数据缺失问题,可在数据录入时应将必要字段设置为必填项;对于数据不统一问题,可将输入内容以选项的形式进行选择,确保数据录入的一致;对于数据错误问题,可以设置错误预警,降低数据错误出现频率。
相关数据显示,64.8%的受访企业表示数据的整合与治理,是未来的主要挑战。数据问题主要集中在:“数据过于分散,形成数据孤岛,取数分析麻烦” “底层数据混乱,存在准确、失效、性能的问题”这两个方面。
从整体背景来看,越来越多的企业开始把数据人才作为企业经营战略版图的核心组成部分,集中表现越来越愿意花高薪聘请大数据人才,整体薪资水平在不断提升。但是优秀的大数据人才培养的成本居高不下,培养周期长,人才供应始终是在大数据人才需求越来越大的背景下捉襟见肘。薪资竞争力不足以及企业创新力不足,让传统企业愈加困难。
在企业认可数据,积累数据的过程中,大数据团队对数据人才的培养也会逐步找到一些法门,这些方法和技巧无不是围绕在数据文化建设之上。调查显示,在彰显数据文化方面,虽然“沟通协调讨论用数据说话,基于数据讨论”达到了81.8%,但“数据获得容易,数据分析快速、流畅”还不足35.19%。
(1)安利股份:商业智能(BI)分析系统
亿信华辰基于企业的业务诉求,围绕收入、支出、成本、客户满意度、人资管理等方面进行全面分析与展示,帮助企业时刻掌控经营状况以及各项目花费情况,全方位监管物业服务质量以及客户满意度,最终为打造高品质的物业服务提供了数据支撑,辅助领导高效管理。
(1)国家电网:一体化电网规划设计平台
随着国家电网公司发展进入以集团化运作为特征,发展进入以特高压和智能化为重要特征的新阶段,根据“大规划”体系建设要求,有必要在原有一体化电网规划设计平台建设的基础上,加快一体化电网规划设计应用的建设。
(2)国网甘肃电力:配电网停电监测平台
(1)中电建路桥集团:决策平台建设
(1)陕西中医药大学:校园数据分析平台
BI经过多年的发展,经历了传统BI、敏捷BI两个主要阶段,未来将迈入智能BI阶段。
尽管关于BI和AI融合的探讨已久并已经落地了一些应用,但整体仍处于初级阶段,主要受制于数据和ROI两方面。
(1)数据方面:BI和AI的应用都对企业数据质量提出了很高的要求,尤其是机器学习算法的模型训练对数据质量的依赖更为直接。例如,由于数据基础的差异,基于同样算法的销量预测模型在服装行业的预测准确率达60-70%,在能源化工行业有可能达到90%。
(2)ROI方面:BI+AI的落地仍有较高的技术门槛,同时意味着较高的投入,如果企业对于业务应用价值缺乏明确的预期或强烈需求,将导致ROI不明确,从而限制相关投入。
(1)未来,BI需要进一步加强数据实时处理能力;
(2)除了增强数据的实时处理能力外,未来的智能BI应具备协同分析、交互式分析的能力;
(3)由智能问答技术支撑的智能交互将成为新的BI表现形式。
以前,数据分析产品都是独立部署的,给用户非常清晰的使用界限,必须登录入系统进行相关的操作。将来的数据分析产品将是一种即取即用的能力。
比如,用户会在ERP系统中,或者公司门户中看到的数据图表、数字看板大屏,都是来自于BI工具所产生的链接;比如用户可以将图表生成第三方链接供用户跨系统调用;还有一种场景,就是用户在BI系统中,比如看板中,观察到库存过低,可以通过按钮直接跳转WMS系统进行订货操作。
4.移动化仍然是趋势,但是发展速度比预期要慢
五年前就有人预言商业智能BI移动化会成为必然趋势,如今5年时间已过,移动BI的普及程度并不如预期。原因主要是数据分析的交互性一直是很高的要求,手机屏幕的限制一直抑制了商业智能BI在移动端得到更好发挥的障碍。
比如数据看板或可视化大屏,显然并不适合在移动端进行展示。针对中国市场,则有一些新的移动趋势,比如将BI展示集成到企业微信或者钉钉中去,以更好的发挥商业智能BI的协作性。
5.是更好的支持物联网
随着5G、Lora、NBIot等技术的成熟,物联网技术将成为势不可挡的发展趋势。未来将会有数百亿甚至数千亿个终端物联网设备或传感器接入网络,这个规模数百倍于移动互联时代。
要在中央计算平台进行如此巨大规模的数据处理是不切实际的,也是很低效的。因此,边缘计算将逐渐引入商业智能分析中,物联网终端进行数据分析,然后将处理过的数据汇入云端进行进一步处理。
1.对企业来说,商业智能BI不能直接产生决策,而是利用BI处理后的数据来支持决策。核心是通过构建数据仓库平台,有效整合数据、组织数据,为分析决策提供支持并实现其价值。
2.BI最终展现给用户的信息就是可视化报表或视图。需要注意的是,报表只是一种呈现,只能达到查询的效果,查询仅仅只能告诉我们结果是什么、有没有问题。而基于可视化图表背后的数据分析才能告诉我们问题的原因是什么,只要问题发现了,原因也找到了,那么企业业务人员或者管理人员如何去决策就会变得简单与轻松。
3.商业智能BI是一个完整的解决方案,需要进行专业项目实施与部署。在实际项目实施过程中会存在很大的变数,例如业务架构自底往上的调整、分析需求的变化、业务数据计算逻辑的变更等。所以商业智能BI项目如果需要顺利实施就需要权衡好客户实际资源能力、项目支持力度,客户对商业智能BI的期待,项目后期的风险,客户的实际投入和长远规划..