美团：踩雷好几年，才总结出的数据管理避坑攻略

1LX · 发表于 2022-12-30 15:11:17

面打上圆“墨小厮的专客”，挑选“设为星标”

背景复兴"书籍"，获得

背景复兴“k8s”，可付出k8s质料

1、叙文
2、布景介绍
3、办理系统化思考
3.1 甚么是数据办理系统化？
3.2 数据办理系统化怎样处置今朝办理存留的成就？
3.3 营业数据管治系统框架怎样建立？
3.4 系统框架怎样降天施行？
4、办理系统化实践
4.1规范化
4.2 数字化
4.3零碎化
5、营业数据办理施行过程
6、归纳取瞻望
1、叙文
好团留宿数据办理团队颠末多年纪仓建立及数据办理的经历积淀，并分离营业开展阶段关于数据办理的诉供，将办理的思路逐步从博项、表象、成就启动的办理，改变为主动化、系统化的办理，并从尺度化、数字化、体系化三个标的目的截至了降天取实践。
2、布景介绍
好团留宿营业从2014年上线以后开展多年，历经根究期、防备期，开展期，并逐步由开展期背变化期过度。营业从以前的快速扩大阶段加入绝对颠簸的开展阶段，经营伎俩改变为精密化经营，共时对于数据的本钱、服从、宁静、代价等标的目的的请求也愈来愈下，那些皆对于数据办理提出了新的请求。

图1 留宿营业开展阶段

另外一圆里，留宿数据组所属的数据中间内部有留宿、门票度假等多条营业线，各营业线营业情势差别，所处营业性命周期阶段差别，正在数据办理上的认知及经历积聚也差别。怎样能将数据办理经历及才气下效复用，使数据中间各营业线正在数据办理的服从战结果上皆能稳步提拔，制止踏坑，那便需要数据办理越发尺度化、系统化、主动化。
此前，咱们正在数据办理上已经有了一点儿积聚战积淀，前一阶段主要从单面、主动的办理改变为主动、博项的办理，办理行动无观点、有计划，也有必然的针对于性，且得到了必然的功效，但是总的来讲仍以成就启动办理、凭经历办理为主。面临新的数据办理义务及请求，过从的方法存留着一点儿成就，主要包罗如下多少个圆里。
1）办理认知差别年夜

认知没有不合，思路纷歧致：

重复办理、疑息欠亨：

范畴穿插、鸿沟没有浑、结果易评介：

2）办理办法没有尺度

过程标准缺得：

成就易襟怀跟踪：

处置计划易降天：

3）办理服从高、结果好

办理线上化水平高：

历程没法尺度化，成果无保证：

4）数据管治缺少系统化

缺少部分顶层办理计划设想：

成就愈来愈庞大，单面易处置：

差别成就的劣先级没法肯定：

办理没有契合MECE绳尺：

3、办理系统化思考
从上述布景中欠好瞅出，咱们面对着差别营业性命周期阶段对于数据建立战办理差别的请求及挑战，共时过从更多的以主动办理、成就启动的博项办理方法办法也比力落伍，那间接招致手艺团队很易满意营业圆关于财政、营业撑持等圆里的请求。
颠末不竭的吸取经验战归纳经历，咱们开端观点到数据管治是一个十分庞大的分析性成就，只需建立出一套尺度的营业数据管治系统，才气保证数据办理正在近况评介、目标订定、过程标准建立、办理监控办理、才气建立、施行服从、结果评介等各关节有用降天。上面介绍一下咱们正在办理系统化层里的理解战思考。
一、甚么是数据办理系统化？
针对于数据办理战办理，咱们期望拆修一套散办理系统、办法系统、评介系统、尺度系统、工具体系等中心才气的拉拢，连续效劳于数据管治施行。能够类比一般的电商公司，假设需要运行并效劳佳主顾，它起首必需拆修起去一套贩卖系统、产物系统、供应系统、物流系统、人力系统等等，只需如许才能够相互共同，完毕效劳佳用户那一年夜目标。

图2 数据办理系统思考

二、数据办理系统化怎样处置今朝办理存留的成就？
1）方法办法上
先干顶层办理框铺设计，从团队部分望角界说战计划佳办理的范畴、职员、工作、目标、办法、东西等必需部门，再截至降天。更存眷部分战略的普适性及有用性，而非深陷某个具体成就处置计划开端办理。
2）手艺伎俩上
以完美的手艺研收标准为根底，以元数据及目标系统为中心，对于营业数仓战数据使用截至全面评介战监控，共时配套办理体系东西，辅佐办理同学降天办理战略战处置数据开辟同学办理服从高成就。
3）经营战略上
颠末看待办理成就截至作用范畴、支益情况截至评介，肯定待办理成就的主要度，从办理者望角和成就义务人望角2个路子促进差别主要水平的办理成就处置。
三、营业数据管治系统框架怎样建立？
咱们的建立思路是：以团队数据办理目标为中心导背，设想完毕目标需要的相干才气拉拢，并按照构造请求，施行历程的成就反应，连续不竭天迭代完美，终极完毕数据办理的愿景。
系统框架主要包罗如下实质：

坐法，订定相干的构造保证过程标准、工作设想、赏罚步伐，辅导战保证数据办理顺遂截至，那是数据办理能够胜利启用运行的枢纽因素。

设尺度，订定各种研收尺度标准、处置计划尺度SOP等数据办理过程当中需要的各种手艺标准战处置计划，那是统统手艺成就准确取可的主要按照，也是办理中事先处置计划必不成少的一部门。完美的尺度标准战优良的降天结果，可很佳天低落数据缺陷成就的发作质。

完美才气，主要是鉴于元数据的成就襟怀的数字化才气，和成就东西化检测战处置的体系化才气。数字化战体系化才气是数据办理施行的科学性、施行的品质及服从的主要保证。

设定行动，分离要告竣的具体目标，对于各办理域成就，根据事先束缚、事中监控、事先办理的思路截至处置。目标的告竣，需要装分到7年夜办理域相干的具体成就中来降天。因而，一个办理目标的告竣，很依靠办理域对于成就描绘的全面性及深度。

给出评介，鉴于目标的成就监控，安康度评介系统，博项评介陈述，评介办理支益及结果，那是施行办理促进历程监控，成果查验的主要抓脚。

持久办理目标，辅导数据管治无方背天不竭晨着终极目标前进。

图3 数据办理系统概览

系统框架建立功效：营业数据办理系统框架是针对于数据办理事情部分干的顶层计划设想，框架界说佳了营业线数据办理是甚么、如何干、干甚么、用甚么东西和告竣甚么目标。推齐各圆对于营业数据办理的认知，尺度化办理路子办法战构成部门，辅导数据办理有序、有用天截至。

图4 数据办理系统框架

四、系统框架怎样降天施行？
参考营业线数据尺度化管治系统框架各构成部门特性，咱们具体颠末尺度化、数据化、体系化3年夜部门才气建立及经营，去完毕数据管治系统框架的降天，并使用正在数据办理成就的处置中，终极拿到可质化的成果。

图5 数据办理系统化降天思路

4、办理系统化实践
一、尺度化
数据办理尺度化是企业截至数据财产办理的枢纽突破心战主要伎俩，一系列策略、法例、计划需要转移为尺度战轨制才气有用降天。数据办理尺度化既有益于成立健康各类数据办理事情体制、完美营业过程，又有益于提拔数据品质，保证数据宁静开规使用，开释数据代价。但是正在数据办理尺度化建立过程当中，咱们经常会晤临如下三个成就：

过程标准缺得：

降天前提好：

建立办法分歧理：

针对于上述三个成就，咱们从处置成就的望角动身，分别数据开辟过程，颠末事先束缚、事中监控、事先阐发评介的思路，收拾整顿补齐缺得的过程标准，进而完毕尺度过程标准正在数据管治各关节齐笼盖，并建立体系化东西去保证尺度标准的降天施行。下文将别离从标准建立及东西保证二圆里去介绍咱们正在数据办理尺度化过程当中是怎样处置上述成就的。

图6 数据办理尺度化思路

1）标准建立
标准是数据办理修章坐造的根底，针对于尺度标准建立分歧理及过程标准缺得的成就，咱们用系统化的建立思路从部分架构上对于数据开辟过程及数据办理过程截至分别，并针对于齐过程数据管治各个关节建立响应标准：

大白数据办理构造工作和职员组成，肯定数据办理施行过程及办理成就运维过程，以保证数据办理历程顺遂截至。

大白数据开辟各个关节需要服从的标准请求，从成就发生的泉源，颠末建立完美的研收标准，辅导研收事情按尺度截至，必然水平上可削减成就发作。

大白各个办理成就办理行动，保证办理行动是尺度且可施行。

大白办理结果的评介尺度，对于数据系统干到持久，颠簸及目标化的权衡。

图7 数据办理标准化建立功效

2）东西保证
①规范标准可望化-常识中间
正在尺度标准的同享圆里，往常手艺团队正在理论标准降天过程当中可以存留如下成就：

标准找没有着：

标准品质好：

标准出权力：

针对于上述成就，咱们从头汇集收拾整顿已经有标准文档并截至分类，弥补缺得文档，劣化文档实质，并新删常识中间模块，将常识系统框架产物化，正在产物层里保护分歧的进口及权力办理，共时严峻掌握公布过程，处置了尺度标准正在理论降天时“找没有着”、“品质好”、“出权力”等成就。

图8 常识中间及文档公布过程

② 尝试标准东西化-八卦炉
正在数据尝试标准降处所里，往常数据尝试标准皆是颠末Wiki保护，没法束缚各人理论施行历程，招致数据品质较好，简单呈现数据缺陷。为加大都据开辟过程当中因为尝试没有标准而招致数据缺陷的情况，提拔数据品质及营业趁心度，咱们使用数据中间取数据仄台东西拉拢做同修的ETL尝试东西（好团内部东西-八卦炉）去保证尝试标准SOP降天施行，请求各人正在没有作用测尝试数服从情况下充实尝试，完毕数据办理成就正在事先束缚，削减事先成就质，保证数据品质，东西建立以下图所示：

图9 尝试标准东西化-好团八卦炉架构图

③ 办理提效保量东西-SOP主动化东西
正在一样平常数据开辟事情中，数据工程师会负担一部门数据办理事情，往常皆是颠末施行数据办理SOP中每一个步调对于成就截至办理，但是经常会晤临如下多少个成就：

办理服从高：

办理历程没法束缚：

鉴于上述成就，咱们开辟了办理提效东西-SOP主动化东西，汇总多个仄台办理东西，将数据办理尺度化SOP的各个施行步调颠末东西降天，真现在一个东西内乱一站式办理才气，束缚工程师的办理行动，保证全部办理历程是尺度的，结果是可监控的，进而提拔了办理服从及办理品质。
好比有用任务的办理，起首需要调研成就办理经历并积淀至SOP文档，而后将SOP文档中各个施行步调顺次颠末主动化的东西截至设置。数据工程师正在办理时只要供正在一个界里内乱便可完毕局部的办理行动，下图是有用任务办理SOP及好团的主动化东西：

图10无效任务办理SOP及好团的主动化东西

3）尺度化支益及建立经历
颠末数据办理尺度化建立，咱们处置了团队正在数据办理标准圆里多少成就，得到了清楚结果：

共时，咱们正在理论建立的过程当中，也归纳了一点儿尺度化的建立经历：

二、数字化
往常各人正在睁开数据办理事情时主要依靠经历鉴别，缺少科学可质化的抓脚，对于办理成就的严峻水平没法精确感知，共时对于办理支益的收受接管也不克不及精确评介。因而咱们睁开了数字化的事情，将各人数据开辟事情用数据描绘，建立全部数据开辟事情的精确望图。
1）数字化架构设想计划
建立思路：颠末对于数据性命周期各关节截至类比营业数仓建立中抽象战描绘营业工具方法，截至元数据工具的抽象战描绘，并建立成元数据数仓战办理目标系统，使用正在数据管治场景。
框架主要包罗元数据堆栈、目标系统、数据财产品级和鉴于元数仓根底上成立的各个数据使用，使用元数据启动数据办理及一样平常团队办理，制止过量依靠经历处置成就，更佳天效劳营业。下边多少个章节将别离介绍数字化框架最中心的数据实质：元数据堆栈、目标系统、数据财产品级。

图11 数字化框架

2）元数据堆栈建立
元数据是描绘数据的数据，包罗数据财产品种、数据保存巨细、数据流血统干系、数据消耗历程等疑息，存留疑息品种多，散布零星，疑息没有残破的特性。丰硕的元数占有帮于咱们快速理解团队数据财产，让数据财产越发精确，通明。为数据使用战代价开释供给支持。
咱们的建立思路，采纳数据营业化、营业数字化、数字使用化的思路去拆修元数据堆栈。

数据营业化：

营业数字化：

数字使用化：

图12 数据营业化思路

颠末数据营业化思路，咱们抽象营业域、办理域、手艺域等3年夜中心域去描绘元数仓工具，并对于每一个中心域截至细分，分别多个中心：

营业元数据：

手艺元数据：

办理元数据：

图13 元数据堆栈中心疑息建立

正在元数仓分层上，咱们接纳最多见的四层架构分层方法，别离是揭源层、明细层、汇总层、使用层战维度疑息。区分于营业数仓分层设想方法，从明细层便按维度修模思路构造数据，制止过分设想，只要供干佳中心分别息争耦。正在汇总层从阐发习惯动身耦开数据，提拔易用性。使用层按需创立所需交心支持使用。

图14 元数据堆栈分层

今朝，咱们已经完毕元数据堆栈手艺域、办理域、营业域部门实质的建立，并已经支持目标系统及基层多个数据使用，未来仍将按照各人正在理论事情中中心存眷的实质对于元数仓退一步弥补战完美。

图15 元数据堆栈建立功效

2）目标系统建立
一个成就的权衡需要从多圆里截至思考，只用一个目标没法充实分析成就，那便需要一组有逻辑且相互联系关系的数据目标去描绘成就。正在数据开辟过程当中，需要订定多个目标去监控权衡数据开辟团队正在品质、宁静、服从、本钱等圆里存留的成就。
此前，留宿数据团队不一套老练颠簸的目标系统，没法持久精确权衡团队的营业撑持才气、手艺才气。2020年，咱们正在元数据堆栈根底上拆修了数据办理目标系统，全面权衡了营业数仓建立过程当中各种成就，颠末目标系统监测事情中的长处取不敷，提拔了团队的事情才气，从而进步了对于营业的撑持才气。
①建立计划
目标系统的建立目标是监控团队事情形状战变革趋势，需要能够笼盖到事情中的方方面面。因而，正在目标系统的建立上，咱们颠末差别望角对于目标系统截至分类，干到没有沉没有漏齐笼盖，让目标合用于差别使用场景：

性命周期望角：

团队办理目标望角：

成就工具望角：

图16 目标系统多望角建立思路

②建立功效
今朝咱们已经建立手艺、需要及缺陷三年夜类目标总计112个，全面笼盖数据开辟中的各个关节：

手艺类目标：

需要类目标：

缺陷类目标：

图17 目标系统建立功效

元数据及目标系统使用以下：

团队办理：

数据办理：

名目评介：

③建立思考
正在目标建立过程当中，咱们积淀了如下多少面经历：

3）财产品级建立
跟着营业快速开展，团队担当的数据财产范围也日趋扩大。停止目前，团队同担当离线Hive表3000+，ETL消耗任务2000+，人均担当ETL消耗任务100+。正在面临范围日趋扩大的数据财产，团队办理者及数据工程师凡是会碰到如下成就：

为丰硕元数据之间的干系战实质，开掘识别更有代价的数据疑息，以元数据才气启动数据研收及运维一样平常事情，正在元数据堆栈的根底上咱们干了衍死才气即财产品级的建立。财产品级能够对于数据的主要性截至科学有用天评介，也可辅佐完美数据品质分级监控计划，进而完毕对于重心任务的重心保证。
下图是数据财产品级通用计较过程，咱们起首按照财产范例确认各个作用果子及作用权沉值，分别作用果子主要性品级，其次按照各个作用果子数值范畴分别患上分区间，最初汇合计算获得终极财产品级患上分及财产品级成果，并抽样考证成果的精确性。

图18 财产品级计较过程

① 财产品级建立（数据表）
下图是针对于数据表财产品级建立的办法战过程图：

图19 数据表财产品级分别

肯定作用果子及权沉评介

作用果子确实定是财产品级计较中最为枢纽一环，公道评介作用果子对于终极财产品级成果的精确性相当主要。按照理论数据开辟中经历可知，作用数据表主要水平主要有如下多少个枢纽因素：

下流范例：

下流数目：

使用冷度：

链路深度及分层：

肯定佳作用果子以后，咱们需要鉴别每一个作用果子所占的权沉值。咱们接纳条理阐发法去计较权沉值（条理阐发法主要使用正在谬误定情况下及具备大都个评介绳尺的决议计划成就上，具体计较步调，各人可查阅相干的质料），其长处是把钻研工具动作一个体系，根据合成、比力鉴别、分析的思惟方法截至决议计划，并且计较历程繁复合用。

计较财产品级患上分

按照理论情况对于每一个作用果子分别患上分区间，并分离每一个作用果子权沉值，能够计较获得财产品级终极患上分。总患上分为各作用果子患上分取对于应权沉乘积减战。

财产品级映照

咱们将财产品级终极患上分分别区间至L1 ~ L5，L5为最下财产品级，L1为最高财产品级。

图20 财产品级分别

② 财产品级使用场景（数据表）
今朝，财产品级已经使用到一样平常管治施行，为数据分级管治供给了无力的抓脚：

图21 财产品级使用场景

三、体系化
1）数据百品-管治中间
除尺度化战数字化以外，咱们数据办理系统降天仍面对诸多成就：

针对于上述成就，咱们拆修了数据百品-管治中间办理仄台（好团内部产物），完毕了散财产办理、成就阐发监控、主动化办理、历程跟踪、成果评介的一站式、齐笼盖数据办理仄台，能有用提拔办理品质战服从，为数据品质提拔干佳强无力的支持。颠末“管+治”相分离的观念，别离从办理者及研收职员的望角对于数据、人效等成就完毕全面监控，并完毕了财产齐景、办理中间、办理中间三年夜模块：

图22 管治中间建立思路

① 财产齐景
财产齐景从办理者+数据RD望角动身，介绍了目前数据近况即有甚么的成就，辅佐营业线办理者及数据RD完毕数据财产可望化，为办理者供给手艺办理的抓脚，为数据RD提拔数据探查战数据使用服从。包罗财产年夜盘、财产目次、小我私家财产三身材模块：

财产年夜盘：

财产目次：

小我私家财产：

图23 财产齐景建立思路

② 办理中间
数据团队办理者正在一样平常团队办理中经常常会晤临二个成就：

办理中间主要从办理者望角动身，处置了如何管的成就，颠末办理者存眷的中心目标，为办理者供给监测团队形状、鉴别团队成就、帮助办理决议计划的才气，让办理者从“依靠经历办理”改变为“数据启动办理”。包罗办理者年夜盘、运维办理、需要办理、团队办理四年夜模块：

办理者年夜盘：

需要办理：

缺陷办理：

团队经营：

图24 办理中间建立思路

③ 办理中间
一样平常数据办理过程当中，成就义务人处置成就主要有如下痛面：

办理中间从成就义务人望角动身，处置了如何治的成就，为一线办理工程师供给从成就评介阐发，到办理，到退度监控的一站式办理才气。将办理事情精密化、常态化经营，提拔了数仓办理品质战服从。包罗办理概览、阐发评介、成就办理、退度监控四年夜模块。

办理概览：

阐发评介：

成就办理：

退度监控：

图25 办理中间建立思路

2）SOP主动化东西
正在一样平常数据办理过程当中，每一个团队城市积淀多少SOP标准文档去辅导各人截至成就办理，削减成就发作。可是正在SOP的降天上，仍然存留许多成就：

①建立计划
鉴于上述成就，咱们开辟了SOP主动化设置东西。SOP主动化东西是一款SOP设置东西，合用于成就办理类SOP，将办理行动颠末东西截至设置以进步办理服从，从而包管历程品质战成果品质。目标是处置SOP标准文档正在降天过程当中碰到的施行服从高、历程没法追踪监控的成就，完毕一站式处置成就的才气。
SOP主动化东西主要包罗根底组修层、设置层及使用层，如下是产物架构图及产物界里：

根底组修层：

设置层：

使用层：

图26 SOP主动化东西架构

图27 SOP主动化东西产物

② SOP理论操纵步调
用户正在创立SOP后可挑选性设置需要展示的数据疑息，而后根据SOP施行步调顺次拖动各个根底组件，并挖写施行操纵完毕SOP的设置事情，正在结果预览完毕后便可公布上线并天生中嵌URL。主动化东西主要颠末中嵌的方法对于中供给效劳。

图28 SOP东西化操纵步调

③ 使用场景
颠末SOP主动化东西，数据办理已经完毕了成就处置历程线上化、步调尺度化，很佳天保证了办理结果，提拔了办理服从。下图是有用保存目标正在使用SOP主动化东西先后的过程比照，颠末比照，咱们能够瞅到以前工程师需要野生确认多少疑息，并跳转多个仄台操纵，现在只要供正在一个界里完毕统统行动，极地面减少了研收职员的事情质。

图29无效保存过程劣化比照

今朝，咱们团队已经完毕7年夜办理域内乱30多个目标的办理SOP建立，并均曾经过主动化东西降天。后绝，咱们仍将根究其余博项办理实质，并使用SOP主动化东西帮助睁开数据办理的事情。
3）经历归纳
颠末数据办理体系化的建立，咱们归纳了如下多少面：

5、营业数据办理施行过程
数据办理施行过程，是咱们按照营业数据办理尺度化框架正在施行处置具体数据成就时，归纳抽象进去的一套合用于年夜大都办理场景处置成就的通用尺度过程。尺度过程的益处正在于越发标准化数据办理工程师的操纵过程，去包管明施的品质。过程一同包罗5个步调：
1）发明成就战订定目标，发明成就要从营业数据开辟团队的望角动身，环绕效劳佳营业、服从数据研收标准、汇集佳用户反应，尽可以齐天发明战汇集相干需要处置的成就。共时，订定的目标要具备可完毕性。
2）针对于成就截至装解，设想可权衡的目标，并颠末元数据的收罗建立截至完毕，用干对于目标的退一步质化，并动作施行历程监控及办理抓脚。
3）对于权衡进去的具体成就，订定相干的处置SOP，而且查抄响应的研收尺度标准可否完美，颠末成就发作的事先、事中、事先多少个阶段，建立或者完美响应的东西化处置成就的才气。
4）履行经营，以拿成果为中心目标，针对于差别脚色使用差别战略，重心存眷成就处置历程可否会取用户长处发作抵触，掌握佳节奏，按照成就的主要水平有计划天截至处置。
5）归纳积淀办法论，迭代认知，连续根究成就的最劣解，劣化办理计划战才气。

图30 营业数据办理施行过程

6、归纳取瞻望
颠末正在数据办理系统化建立上的连续思考取实践，咱们的系统化框架根本成立，正在数据办理的尺度化、数字化战体系化三个标的目的上得到了较年夜的平息，而且正在营业使用上得到了必然的成就。更主要的是，咱们正在数据本钱、宁静、服从等多个范围皆辅佐营业处置了理论的成就，特别是正在本钱圆里，估量每一年能够辅佐营业可节流数百万的本钱，得到了营业圆的必然。
但是比照“幻想末态”，咱们的事情仍任沉讲近。数据办理系统化框架那个宏大“身躯”中的各个血脉、骨骼、净腑借需要连续丰裕，正在过程标准、元数据数仓、目标系统、财产分级等的建立过程当中，另有许多需要靠大师经历、报酬鉴别、野生操纵串连的场景存留。下一步，咱们将正在智能化（如智能化元数据效劳、智能化数据尺度建立等）、主动化（鉴于办理框架的办理使用场景的线上化建立等）等圆里收力。
念明白更多？扫描上面的两维码存眷尔背景复兴"手艺"，参加手艺群背景复兴“k8s”，可付出k8s质料【出色举荐】

ClickHouse究竟是甚么？为何云云牛逼！

本来ElasticSearch借能够这样理解

口试民：InnoDB中一棵B+树能够寄存几止数据？

架构之讲：别离营业逻辑战手艺细节

星巴克没有使用二阶段提接

口试民：Redis新版原开端引进多线程，道道您的观点？

喜马推俗自研网闭架构演退历程

珍藏：保存常识全面归纳

微专万万级范围下功用下并收的收集架构设想