1.数据资产管理平台体系拆解(4):元数据管理

数据资产管理平台体系拆解(4):元数据管理

       阅读本文需要分钟，源码以数据之名，源码践资产之行。源码

       1、源码以数据之名 简介

       2、源码元数据的源码源码屋源码代下基本概念

       2.1 抽象概念

       元数据，简单来说就是源码描述数据的数据。元数据无处不在，源码换言之有数据存在，源码就有其对应元数据。源码完整、源码准确的源码元数据存在，有助于更好地理解数据本体，源码充分挖掘数据的源码价值。

       单存的源码从概念来讲，确实比较抽象，我们对元数据的aspnetcore单例源码理解还是很模糊。那么让我们先看一段简历达人"张三"的个人简历。

       这份简历中的"电话"、"工作经验"、"年龄"、"邮箱"、"教育背景"等对于张三本人的关键描述信息，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。这样引用论证的方式，是不是让我们对元数据的概念一瞬间立体起来啦。

       2.2 具体概念

       对于企业应用的具体概念，元数据是企业所使用的物理数据、业务流程、数据结构等有关的信息，描述了数据（如数据库、数据模型）、占位符相关源码概念（如业务流程、应用系统、技术架构）以及它们之间的关系。

       元数据管理是对数据采集、存储、加工和展现等数据全生命周期的描述信息，帮助用户理解数据关系和相关属性。

       3、元数据的价值

       通过元数据管理，形成整个系统信息数据资产的精准视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，平衡小车源码原理形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。

       元数据是企业数据资产的基础应用字典和操作指南，元数据管理有利于统一数据口径、标明数据方位、分析数据关系、管理数据变更，为企业级的数据治理提供支持，是企业实现数据自服务、推动企业数据化运营的可行路线。

       4、元数据分类

       4.1 业务元数据

       4.2 管理元数据

       4.3 技术元数据

       描述对象存储的元数据，也是源码资本创业投资通常"狭义"上的元数据，包括几大类：

       描述离线或实时ETL任务数据计算过程的元数据。

       描述数据质量的一类元数据。

       描述数据是如何进行使用的一类元数据。

       描述系统运维层面的元数据，通常包括以下几类。

       描述数据存储及计算成本的元数据。

       描述数据标准化内容的元数据。

       描述数据安全内容的元数据。

       描述数据是如何共享的部分，通常使用以下几种方式：

       5、元数据管理办法

       5.1 关键活动

       5.2 管理流程

       我们可以采用角色与组织联动，制定一套标准化元数据管理流程体系，贯穿于整个数据采集、管理分析与数据服务端到端的实施过程，来完善整体的元数据管理体系。

       6、元数据管理功能

       6.1 元数据采集

       元数据管理平台通过不同的数据采集适配器，能支持从不同的数据源中采集从生产业务系统、数据中转系统、数据应用系统等端到端应用链路的数据流转过程的全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑元数据。同时还能制定采集任务定时采集，减少人工操作的IT成本。

       6.2 元数据访问

       元数据访问服务是元数据管理软件提供的元数据访问的接口服务，一般支持Http、文件、接口库等对接形式。通过元数据访问服务支持企业元数据的共享，是企业数据治理的基础。

       6.3 元数据管理

       实现元数据的模型定义并存储，在功能层包装成各类元数据功能，最终对外提供应用及展现；提供元数据分类和建模、血缘关系和影响分析，方便数据的跟踪和回溯。

       6.4 元数据分析

       元数据的应用一般包括数据地图、数据血缘分析、关联性分析、影响分析、全链分析等，分析出元数据的来龙去脉，快速识别元数据的价值，掌握元数据变更可能造成的影响，以便更有效的评估变化带来的风险，从而帮助用户高效准确的对数据资产进行清理、维护与使用。

       7、元数据管理功能架构

       备注：权限管理中心，走平台统一鉴权SSO

       8、元数据血缘解析

       8.1 血缘解析引擎构建

       基于数据资产开发平台作为开发统一入口的前提，构建元数据血缘引擎服务体系。引擎体系：SQL、Kettle 、Xml、Excel、Interface、Service、Workflow 、Datax等任务体系：DMP（Datax任务、SQL任务、Shell任务、报表任务、监控任务）、KMP（Kettle任务）、DMS（接口和服务）、BMP（工作流和调度器）等目标方向：基于血缘解析引擎解析落地元数据，提供可视化的标准ETL任务元数据血缘查询服务，以及KMP/DMP/BMP三大平台任务关联性和影响性分析服务。

       8.2 血缘解析引擎机制

       基于DMP数据管理开发平台，快速实施个性化报表开发的端到端流程图，其中任务开发、血缘查询和血缘确认环节为开发人员手动实施流程，其余环节为平台系统自动化实施流程，具体如下图所示：

       9、元数据功能预览

       9.1 血缘分析

       9.2 影响分析

       9.3 全链分析

       9.4 关联度分析

       9.5 元数据全文检索

       、数据平台文章集锦

       数据资产管理平台体系拆解(1):“平台概述”

       数据资产管理平台体系拆解(2):“系统分解”

       数据资产管理平台体系拆解(3):“数据模型”

       MySQL死磕到底系列第一篇“围城之困”

       MySQL死磕到底系列第二篇“破冰之旅”

       MySQL死磕到底系列第三篇“踏浪之途”

       MySQL死磕到底系列第四篇“刨根之程”

       MyCAT来生续缘第三篇

       无Hive，不数仓

       基于Hive+HBase双引擎完善数据仓库更新机制

       基于TiDB构建高性能综合数据服务平台

       基于Kettle快速构建基础数据仓库平台

       金融数据仓库之分层命名规范

       一入数据深似海，集市仓库湖中台

       湖不湖实战系列之Hudi构建湖仓一体架构

       湖不湖实战系列之Hudi源码编译

       湖不湖实战系列之Spark2部署升级

       湖不湖实战系列之Spark2构建HDFS到Hudi通路

       湖不湖实战系列之Spark2构建Hive到Hudi通路

       BI选型哪家强，以数据之名挑大梁

       数仓小白快速成长为技术专家视频资料集合

       小编心声 虽小编一己之力微弱，但读者众星之光璀璨。小编敞开心扉之门，还望倾囊赐教原创之文，期待之心满于胸怀，感激之情溢于言表。一句话，欢迎联系小编投稿您的原创文章！ 让我们携手成为技术专家

       参考资料

       [1] 元数据分类参考1: baijiahao.baidu.com/s?...

       [2] 元数据分类参考2: baijiahao.baidu.com/s?...

       [3] 数据资产白皮书5.0:中国信通院

       [4] Markdown模板: product.mdnice.com/arti...