数据仓库 - 元数据概念
什么是元数据?
元数据简单地定义为关于数据的数据。用于表示其他数据的数据称为元数据。例如,一本书的索引充当书中内容的元数据。换句话说,我们可以说元数据是引导我们获得详细数据的汇总数据。就数据仓库而言,我们可以如下定义元数据。
元数据是数据仓库的路线图。
数据仓库中的元数据定义仓库对象。
元数据充当目录。该目录帮助决策支持系统定位数据仓库的内容。
注意- 在数据仓库中,我们为给定数据仓库的数据名称和定义创建元数据。除了此元数据之外,还创建了附加元数据,用于对任何提取的数据(提取的数据的来源)进行时间戳记。
元数据的类别
元数据可以大致分为三类 -
业务元数据- 它具有数据所有权信息、业务定义和更改策略。
技术元数据- 它包括数据库系统名称、表和列名称和大小、数据类型和允许的值。技术元数据还包括结构信息,例如主键和外键属性和索引。
操作元数据- 它包括数据流通和数据沿袭。数据的流通性是指数据是活动的、存档的还是已清除的。数据沿袭是指数据迁移和应用转换的历史。
元数据的作用
元数据在数据仓库中起着非常重要的作用。元数据在仓库中的作用与仓库数据不同,但它起着重要的作用。下面解释了元数据的各种作用。
元数据充当目录。
该目录帮助决策支持系统定位数据仓库的内容。
当数据从操作环境转换到数据仓库环境时,元数据有助于决策支持系统进行数据映射。
元数据有助于在当前详细数据和高度概括的数据之间进行汇总。
元数据还有助于在简单详细的数据和高度概括的数据之间进行汇总。
元数据用于查询工具。
元数据用于提取和清理工具。
元数据用于报告工具。
元数据用于转换工具。
元数据在加载函数中起着重要作用。
下图显示了元数据的作用。
元数据存储库
元数据存储库是数据仓库系统的组成部分。它具有以下元数据 -
数据仓库的定义- 它包括数据仓库结构的描述。描述由架构、视图、层次结构、派生数据定义以及数据集市位置和内容定义。
业务元数据- 它包含数据所有权信息、业务定义和更改策略。
操作元数据- 它包括数据流通和数据沿袭。数据的流通性是指数据是活动的、存档的还是已清除的。数据沿袭是指数据迁移和应用转换的历史。
用于从操作环境映射到数据仓库的数据- 它包括源数据库及其内容、数据提取、数据分区清理、转换规则、数据刷新和清除规则。
汇总算法- 包括维度算法、粒度数据、聚合、汇总等。
元数据管理的挑战
元数据的重要性怎么强调都不为过。元数据有助于提高报告的准确性、验证数据转换并确保计算的准确性。元数据还向业务最终用户强制执行业务术语的定义。在元数据的所有这些用途中,它也面临着挑战。下面讨论一些挑战。
大型组织中的元数据分散在整个组织中。这些元数据分布在电子表格、数据库和应用程序中。
元数据可以存在于文本文件或多媒体文件中。要将这些数据用于信息管理解决方案,必须对其进行正确定义。
没有行业范围内接受的标准。数据管理解决方案供应商的关注点很窄。
没有简单且可接受的元数据传递方法。