8亿用户的网易云音乐搭建了自己的数据中台体系且受益匪浅

2020-04-27 16:03:06来源：InfoQ

记者采访了 ArchSummit 全球架构师峰会讲师网易云音乐数据智能部数据开发专家朱一飞。作为国内知名音乐平台，网易云音乐有 8 亿用户。不过，它面临的挑战在于，一方面各个业务单元在 8 亿用户基数上积累海量的数据，另一方面，业务部门基于发展需要提出大量数据需求，并且在数据质量、数据共享、实时化方面的要求越来越高。为解决这些问题，网易云音乐搭建了自己的数据中台体系，且受益匪浅。

2012 年加入网易云音乐初创团队，朱一飞是一名“土生土长”的网易云音乐技术人。随着公司不断发展，他先后负责过搜索、音频识别后端架构。2016 年，朱一飞开始带领数据团队，经历了数据团队业务组建到平台建设，再到近一两年推进中台体系建设。

何为数据中台?

虽然当前关于中台的讨论已经很火热，但朱一飞认为数据中台是以数据驱动业务创新为目标，具备灵活机动快速反应特征的技术与组织能力体系建设。这里面有三个基本元素：

目标。中台的最终目的是解决业务问题;

灵活快速。能不能快速解决业务诉求是衡量数据中台的重要标准。说到底，建设中台是为了用;

体系化。n 支游击队凑在一起成不了集团军，因而缺乏强大的战斗力。关于技术体系、组织架构，需要有完整、严谨和深入的思考。

数据中台建设的背景和诉求

据悉，网易云音乐的数据团队最初是一支业务开发团队，其大部分工作都在解决业务需求。后来，团队慢慢发现平台工具层面存在诸多瓶颈。因此，团队发起为期 2 年左右的平台化建设，基本搭建起底层的技术基础设施。

在朱一飞看来，随着网易云音乐的创新发展，尤其是产品矩阵建立后，如何快速完整地满足业务对数据的诉求依然有很大的提升空间。

“除底层工具建设外，我们发现还需要在平台与业务中间“铺设”一个中间层，确保团队能理解业务目标而不是躲在后台的技术领域自娱自乐。同时，我们还要快速跟上各产品发展方向的变化，并且努力将试错成本降到最低。因此，我们反过来又去思考平台体系还有哪些不完备的地方，组织架构还需要进行哪些调整。”他说。

而团队对于数据中台建设的诉求，主要分为两部分：

一是面向过去看要解决的问题，其中的核心是整个数据链路的标准化(包括方法论和工具两个层面，细化到链路的各个环节有不同的具体目标)，以及如何去推动这套标准在所有相关业务团队的落地。

二是面向未来要为业务提供什么样的驱动力。团队要以什么样的形式提供数据服务，以及团队应该是什么样的组织模式，从而跟业务团队保持高效协同。

面临的挑战

据朱一飞介绍，团队面临的挑战是在业务需求响应与体系建设上如何取得更好的平衡。“解决单一问题总是相对简单的，相信很多兄弟团队都深有体会”。

他表示，“虽然目前网易云音乐的数据中台建设取得一定进展，但我们还是认为长期处在中台建设的’初级阶段‘。”

在整个数据中台建设中，他们需要不断做出权衡(trade off)：

主干问题优先，考虑 ROI，比如数仓标准化、埋点规范化、指标口径统一等问题如果在产品初期不落地，则积重难返，而且大大消耗团队的精力。所以，这类问题，他们一般会在新产品场景优先去落地。

业务核心项目优先。核心的业务项目(比如云音乐中的增长项目)其实是中台服务的触点，如果错过了，以后合作接入就困难重重。因此，这类项目，他们一定会想办法先推动落地，再去考虑后续优化，体系化改造。

现阶段，他们并不追求一套大而全的体系。

据悉，网易云音乐的业务场景，从横向看，有音乐、直播、K 歌等产品线，从纵向看，包括增长、营收、平台等业务职能线。虽然网易云音乐的业务线和团队众多，“但我们的中台体系实际上是在同一套规范和标准下逐步接入业务的，而非反过来面向业务去设计多种架构”。这中间存在一些需要适配的地方。总的来说，其目标是尽可能抽取更多的共性。

朱一飞坦承，“想实现这一点并不简单，网易云音乐本身产品交互层面相对其他产品的复杂性，独特的账号体系都对我们提出了挑战。”

另一方面，在数据与业务结合的中间层，即中台赋能业务的部分，团队的灵活性会高一些，比如针对市场的新增目标，或会员的营收目标。“我们会单独组建团队专门搭建针对性的业务数据服务及产品，提供一站式解决方案，类似于一支快速反应部队能随时快速解决战斗。”他说。

网易云音乐的数据中台架构

据朱一飞介绍，网易云音乐数据中台架构包含几个层：最底层——基础设施层

基础设施层包括资源环境和平台工具两部分：资源环境是依赖网易杭州研究院提供的大数据集群、容器化环境、底层储备组件等。平台工具主要是自研的提供离线、实时、算法三大方面开发能力的一站式开发环境。

第二层是数据层

数据层即网易云音乐的 OneData，包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层

服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API，包括从最底层的任务执行调度能力，到最面向应用的人群圈定的各类服务能力。而服务中的公共部分，包括权限 & 稽核模块、RPC 框架、服务发现等都是依托网易云音乐技术中心的统一框架。

最上层是产品层

如前文所述，他们组建了一支快速反应部队，针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品，实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环。能够实现快速反应，主要是因为依赖上游的统一数据服务以及产品对应的统一系统框架。

网易云音乐数据中台的具体实践

数据中台的整个实践过程，大致可分为三个阶段：

阶段一：“史前时代”

这个时期属于数据团队大干快上的阶段，他们主要的工作模式是逢山开路，遇水搭桥，大量支持业务需求。同时，他们发布了数仓 1.0、用户画像和 DMP 系统、OLAP 分析平台，开发了大量报表。

在这期间，随着对业务的理解变得更深刻，同时网易云音乐快速发展积累的数据体量带来很多挑战，“我们做了相当多的基础设施改造，比如数据层面对埋点体系的梳理、平台层面搭建了底层计算能力(实时、算法)等”。

阶段二：数据中台 beta 阶段

2018 年底到 2019 年，为支持业务扩张，他们从目标、体系、组织结构对团队进行了梳理，确定了中台建设思路(这也契合同期网易云音乐整体技术、业务双中台战略)。

团队被重新划分为平台、数据、产品三条线，重点做了两件事：

整合升级。横向统一全域的数据，将之前的算法、广告、业务数据全部纳入进来。纵向，建立对整个 pipeline 的管理体系。

探索数据中台与业务的合作模式。“这个期间，我们也尝试多走一步，提供一站式的业务与数据结合的产品。核心是想获得中台在业务的落脚点，同时通过拿到一些业务结果让合作团队看到并认可数据中台的价值。”朱一飞说。

阶段三：数据中台 1.0

在这个阶段，主要有两个目标：

标准化。通过标准化，他们希望解决质量、效率和成本的问题。在标准化数仓重构、统一指标体系、统一 OLAP 分析平台、数据技术中台、数据资产管理等项目，大部分取得阶段性成果。

合作赋能。在前台业务赋能方面，他们一方面寻找更多中台接入的触点，另一方面也会尝试将部分成熟前台产品重新交到业务团队手里，防止战线过长，始终保持灵活机动的组织模式，更多通过赋能解决业务问题(扶上马，送一程)。

数据中台收益

朱一飞说："从结果看，首先，我们从单一解决数据的问题转变为解决’人‘的问题。"从业务视角看，他们不光只是报表数据的提供者，而是真正参与到业务决策，解决业务问题。他们在多个团队实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环，包括增长团队、版权团队、音乐人团队、会员营收团队等。

其次，从体系的角度衡量，团队在效率和质量上得到大幅提高，“支撑起我们难以想象的工作量”。比如，他们的标准化数仓 +OLAP 解决的临时取数每周在几千次左右，让其支撑的取数工作量减少 80% 以上。

此外，他们搭建的离线、计算、算法平台支撑的开发者占到网易云音乐团队的近 50%，真正降低了数据处理和使用门槛，并且因为实现了大部分的标准化，质量仍然有保证。

个人收获与思考

对朱一飞而言，他最大的收获是以往看一个平台或中台架构的视角是平面的，更多看到的是一个最终结果，即中台是什么的问题。在经历网易云音乐从 0 到 1 搭建体系的过程后，他的视角扩宽到体系平面垂直的时间维度。“我会更多思考整个中台为什么应该是这样的，架构中哪些层面更重要、需要优先解决，设计者应该将每个部分如何在时间线上串联起来等问题。”他说。

一个团队需要什么样的数据中台，甚至是否需要数据中台应结合自己的实际情况，不变的是数据驱动业务创新这个目标，方法和思路可以因团队而异。实际上，数据中台并非 silver bullet(银弹)。

如果让他重新开始，朱一飞称“很多选择可能并不会有变化。但有一定经验，会让我们避免一些坑，速度会快一些，比如我们的规范化埋点和流程做在前头，数仓的设计会更规范完整一些。”