Kyligence 副总裁李栋：指标中台构建数字化管理新体系｜爱分析活动

2022 年 12 月，爱分析举办了“2022爱分析·数据智能网络研讨会”。爱分析邀请Kyligence合伙人&副总裁李栋进行了题为《指标中台，构建数字化管理新体系》的主题演讲。

指标是企业数据价值消费单元，也是企业实现精细化管理、数据驱动的必要工具。目前，更广泛的人员正在参与和影响企业业务发展，这对指标质量、指标开发效率、指标更新时效等提出了更高要求。指标中台无疑成为企业实现指标管理、提升运营效率的重要工具。
Kyligence 合伙人&副总裁李栋在会上的演讲围绕指标中台展开，分享了指标中台的发展背景和趋势、典型客户建设指标中台案例和效果，介绍了指标中台技术底座对解决宽表爆炸、企业数据指标口径、企业数字化管理等痛点的价值。
现将李栋总的演讲实录整理后分享如下。
Kyligence 合伙人&副总裁李栋：
01 公司简介
我的分享主题是《指标中台，构建数字化管理新体系》。首先简单介绍一下Kyligence，Kyligence是全球领先的多维数据库和指标中台的技术软件供应商，于2016年由Apache Kylin开源项目的创始团队创建。Apache Kylin是目前较为领先的大数据 OLAP 开源技术。Kyligence研发的多维数据库和指标中台等产品，也是依托于Apache Kylin技术实现。同时Kyligence入选了《2022 Gartner Innovation Insight for Metrics Store》报告，这是唯一入选的中国厂商。此外，我们还有很多合规认证等。
02 指标中台的趋势和背景
在上周的12月15号，由爱分析和Kyligence共同打造的中国首份《指标中台市场研究报告》刚刚发布。在此之前，双方还开展了一项关于“企业指标管理与数据分析现状”的调研。调研涵盖了银行、保险、制造、零售与消费品等各个行业的数字化转型领先企业，涉及数据、IT、业务等多种角色一起深度参与，收集了很多宝贵数据。此外还有来自银行、保险、零售等行业客户的最佳实践。基于所有这些信息，我们整合成了这样一份指标中台报告，欢迎大家下载。我今天的分享也将以这份报告中的内容为主线进行展开。
首先是关于指标中台的趋势和背景。德鲁克曾经说过，没有度量就没有管理，因为不能去管理一些不可度量的事物。除此之外，我们也会看到企业数字化经营的关键，是要建立以指标为核心的管理体系，例如KPI、OKR，或是平衡计分卡、BI等管理手段，本质上都是在帮助企业的决策者和管理者更好地了解企业的经营指标，构建可观测的经营管理体系。
指标是通用的管理语言
为什么指标这么重要？指标是企业内部通用的管理语言，连接着业务和数据。一方面在业务侧，人人用指标，指标是企业业务运营、经营管理过程中的共同语言。在数据侧，指标又是通用的数据语言。只有把数据加工成为指标，或者通过数据计算出指标结果，才能够体现出数据分析的价值。在爱分析和Kyligence联合开展的“企业指标管理与数据分析”的调研中，当评价指标体系对于公司的重要程度时，能看到有85%的企业认为指标体系对于公司很重要，有49%的企业是经常使用指标体系管理业务。
指标体系建设面临的挑战
指标体系的重要性已很明确，然而企业在建设指标体系的过程中面临诸多挑战。第一个挑战是现有系统难以满足业务人员更精细化、更实时的用数需求。如业财一体化中，业务人员和财务人员希望站在全局的视角上，同时对业务部数据和财务数据有宏观的了解。这要求对现有的跨平台或多渠道的数据进行整合，这是企业当下面临的第一个挑战。
第二个挑战是企业IT能力和成本有限，无法满足业务爆发式的增长。比如保险公司每周都会发布新产品，每个新产品都需要运营团队对用户的各种行为数据进行详细分析。然而公司不可能为每个新产品都投入相应的IT资源，包括通过数据开发人力进行手工开发等，这个成本很难吃得消。
第三个挑战是管理人员缺少统一的指标查询入口。这个挑战本质上还是指标口径问题。以销售额为例，从财务视角和业务视角对销售额的计算口径就会不一样。口径不一致，管理上就需要花很多时间对齐口径。 第四个挑战是数据治理缺少有效的抓手。当企业缺乏有效的抓手去开展数据治理工作时，将很难产生直接的成果和效益。调研数据也验证了这一点，在统计中发现，像指标质量、指标体系不完整、数据分析平台性能待完善等，都是企业普遍面临的问题。
什么是指标中台
指标中台产品的设计初衷就是解决以上问题。为什么叫指标中台？对于中台，大家很熟悉的概念有One Data、 One ID、 One Service 等。指标中台是集中管理、存储指标以及提供指标服务的一个平台，提供业务模型、指标管理、指标加工、数据服务等一体化的解决方案。指标中台在企业整体的架构中，处于数据湖、数仓和数据应用之间。
指标中台主要有两部分，上面一部分是指标应用，下面一部分是计算引擎。应用层的目的是构建指标目录，包括像指标定义、指标可视化、指标质量、指标管理、指标服务等功能。在指标定义中，需要定义指标的口径、指标的计算逻辑、商业意义、商业价值以及指标的归属。
在计算引擎层，针对指标分析、指标查询、指标服务等功能实现，需要具备高性能、高并发的计算分析能力，以支撑平民数据分析师对海量数据的使用。
基于指标中台，在下游的多种分析工具如BI、Excel、Tableau及其他可视化工具、协同工具中，都可以获取最权威的具备一致性的数据。
03 指标中台实践案例
接下来介绍指标中台的实践案例。
平安银行：潘多拉指标中台
银行业的数字化一直走在各个行业的前列。首先介绍一个来自于平安银行的案例。平安银行是一家全国性的股份制商业银行，金融服务种类齐全。平安银行从2016年起开始数字化转型布局。在平安银行的零售业务板块中，包括信用卡、消费金融、汽车金融等细分业务板块，每个板块都涉及到产品、渠道、客户交易等信息。从数据分析的角度来看，要想实现精准营销、改善客户体验，需要从不同维度、不同渠道以及用不同的指标来进行复合性的分析。例如在精准营销中，对客户生命周期全链路进行管理时，需要结合客户在银行的交易数据、产品数据、行为数据等进行综合分析。
在建设指标中台之前，平安银行通过传统的BI报表分析的方式，面临许多挑战：1）数据治理难，报表口径不一致，取数存在信任危机；2）数据协同难，不同部门间的数据处理模式不同，相互之间很难复用；3）数据处理工具使用难，效率低，如平安银行的零售业务中数据开发人员高达200名，依然存在数据开发周期长、响应慢的问题。
为解决以上问题，平安银行建设了潘多拉指标平台，并选型使用 Kyligence 多维数据库作为底层核心组件。所有业务人员通过潘多拉指标平台自助获取所需要的任何业务的指标数据，可以减少重复性报表的开发工作，通过指标看板、智能的归因分析和趋势预测来对指标进行一站式的、全链路的分析和洞察。此外，也能通过潘多拉指标平台的指标定义、指标发布、指标管理等一系列指标自动化管理流程来提升数据和指标管理效率。
目前平台已经接入了15000多个指标、1000多个维度，活跃用户也已超过5000人。从效果来看，数据开发效率得到大幅提升，数据开发周期缩短了3-5天，ETL人力缩减了30%，同时指标复用率超过25%。
百胜中国：指标分析与管理应用提升数据决策效能
接下来再介绍来自于百胜中国的案例。百胜中国是全球性的餐饮集团，是零售餐饮行业的典型代表，肯德基、必胜客都属于百胜中国下的品牌。随着百胜中国的快速发展，尤其互联网业务的爆发式增长，整个公司的数据体量也在不断增长。
为提升整体经营效率，百胜中国的各个部门包括区域级别、门店级别都产生了大量的数据分析需求和指标应用的需求，如销售部门需要从地区、时间、金额、频次等多个角度分析销售订单情况。如果每个指标都通过报表开发，整体的分析效率会非常低下。
百胜中国与 Kyligence 进行合作，并通过建设指标分析与管理应用体系，对以上诸多问题进行了改善。整体的数据准备时间降至30分钟，相较之前用时缩短75%；OLAP性能大幅提升，500亿+数据体量下平均响应时间仅4秒，90%的查询用时在1秒以内。指标分析与管理应用体系的性能充分满足包括集团、区域等各级数据分析师在内的数据消费者使用需求。
此外，这套指标分析与管理应用体系还保留了业务人员既有的数据分析习惯。过往百胜分析师习惯使用Excel，这套体系能在大数据体量下依然支持分析师使用Excel对接或进行自助式分析。
这些案例的背后，是包括 Kyligence指标中台引擎、产品、方法论在内的整套解决方案。一方面，Kyligence有企业级指标中台解决方案，以Kyligence的多维数据库技术为核心底座，具备指标管理引擎，支持高性能的指标计算和查询服务，为金融、零售、制造等企业提供端到端的解决方案，帮助企业简化数据分析和指标管理。
另一方面，Kyligence也推出了名为Kyligence Zen的一站式指标中台产品。这是一个标准化的SaaS产品，支持企业将云端的S3、CSV文件等常用数据源快速接入指标中台，通过指标目录、指标自动化、目标管理、指标API、归因分析、指标模板等开箱即用的能力迅速从零开始搭建、实践指标中台。
04 指标中台技术底座
企业业务增长带来宽表爆炸问题
为什么Kyligence的指标中台解决方案在技术上更有优势？这主要是因为底层多维数据库技术。举个例子，Kyligence服务的一家互联网行业电商客户，这家电商企业从2019年下半年开始建设自己的数字化平台。如下图所示，左侧从数据库、日志系统中抽取的数据进入数据仓库。数据进入数据仓库的贴源层后，经过加工一步步变成宽表、业务表。业务表包含了各种业务指标，如销售相关的各种指标，客户相关的各种指标，网络流量、广告相关的各种指标等，每个指标都是从贴源层原始数据一步步加工形成。每个业务表的背后都存在着大量的宽表。
这里就会产生一个问题，指标数量的快速增长带来了宽表爆炸。这也是多数企业在数据湖建设和数据仓库建设过程中面临的共性问题。Kyligence在服务这家电商客户时看到，业务端的一个订单表背后会产生1万多张宽表。大量的宽表一方面快速消耗计算和存储资源，另一方面宽表的ETL需要消耗大量的开发运维人力，带来计算成本和人力成本的持续增长。
多维数据库解决宽表爆炸问题
Kyligence多维数据库能有效解决宽表爆炸问题。什么是多维数据库？多维数据库来自于经典的OLAP Cube理论。经典的OLAP Cube 理论下，在三维的Cube 中，每个维度代表业务中的一个维度，每个格子代表一个维度下的度量。也可以换一个角度理解Cube，即Cube中的每个节点代表一个基础指标，如任何一个时间、任何一个地区、某个商品品类的销量对应的就是一个节点。在多维数据库中，每个格子代表的基础指标加上一些业务口径，如时间段、地区等就可以构成丰富的业务指标体系。多维数据库的核心在于它存储的是维度和度量，而不是以表为核心去存储数据。
此外，所有指标的生命周期也能被统一管理。而在关系型的数据库中，不同的指标用不同的宽表进行存储，生命周期难以实现统一管理。经常出现的情况是，宽表与宽表间的数据更新不同步，导致指标的生命周期不一致，最终出现数据信任问题。
多维数据库基于空间换时间的思想，将指标预计算好并存储在多维数据库中，因此业务分析时具备高性能。此外，多维数据库也更节省成本，相较于昂贵的计算资源，多维数据库通过云上存储实现空间换时间，性价比更高。
那么，多维数据库是如何解决宽表爆炸问题的？回到电商客户案例中，所有数据进入贴源层后都可以被多维数据库进行统一管理。
数据如何实现统一管理？在多维数据库中定义的多维数据模型、维度和指标，本质上是在贴源层的表上定义了统一的业务元数据。基于业务元数据，一方面能更好地管理底层数据，另一方面，可以赋予上层的业务用户更好的数据消费能力。同时，包括数据分析师在内的业务用户也能更加自主地基于多维数据库中的基础指标进行创新，创建更多的衍生指标。业务端的指标都是衍生指标，不会产生底层宽表，自然也不会带来宽表爆炸问题。
怎么理解这一点？这里补充一点背景知识。基础指标、衍生指标等概念来源于指标体系构建过程。最开始通过表进行初步计算如求和的指标是基础指标，围绕着基础指标，通过口径、时间、四则运算产生更多衍生指标、复合指标、时间衍生指标等概念。其中，只有基础指标是需要被预计算的，外围的衍生指标、复合指标不需要。正是基于多维数据库对指标体系的梳理，能有效减少宽表爆炸问题。而在关系型数据库中，衍生指标或者复合指标都是通过宽表的方式创建的，会消耗更多IT成本。
再回到电商客户案例中，一开始贴源层有5000多张表，通过多维数据库定义出2000多个基础指标，进而衍生出1万多个衍生指标。其中5%的衍生指标可以基于基础指标通过大规模并行处理在线计算得到；95%的指标已经完成了预计算。通过多维数据库，数据人员可以更好地管理数据，业务人员也会更加自主地使用指标进行业务创新。
多维数据库的Cube理论使整个宽表的数量大幅降低，充分预计算加少量在线计算的方式也能降低企业整体的TCO（计算总拥有成本），因此多维数据库能更好地应对宽表爆炸挑战。
通过以上介绍，可以证明多维数据库确实是支撑指标中台的更好的技术底座。
今天的分享就是这些。欢迎大家来试用Kyligence指标中台技术，在kyligence.io网站上有两个产品试用入口，一个是关于多维数据库，一个是一站式指标中台产品。最后欢迎大家下载由爱分析和Kyligence联合出品的《中国指标中台市场研究报告》。前面介绍的内容可能比较简略，在这份报告中会有更加详细的介绍，包括案例、指标体系构建方法论、指标中台落地方法论等。