OBIEE——数据仓库

---

在当今竞争激烈的市场中，大多数成功的公司都能对市场变化和机遇做出快速反应。快速响应的要求是有效且高效地使用数据和信息。“数据仓库”是按类别组织的中央数据存储库，用于支持组织的决策者。一旦数据存储在数据仓库中，就可以对其进行访问以进行分析。

“数据仓库”一词最早由 Bill Inmon 于 1990 年发明。据他介绍，“数据仓库是一个面向主题的、集成的、时变的、非易失性的数据集合，用于支持管理层的决策过程。”

Ralph Kimball 根据数据仓库的功能提供了数据仓库的定义。他说，“数据仓库是专门为查询和分析而构建的交易数据的副本。”

数据仓库（DW 或 DWH）是用于数据分析和报告目的的系统。它们是保存来自一个或多个异构数据源的数据的存储库。它们存储当前和历史数据，并用于创建分析报告。DW 可用于为高级管理层创建交互式仪表板。

例如，分析报告可以包含公司销售报告的季度比较或年度比较数据。

DW中的数据来自多个操作系统，如销售、人力资源、营销、仓库管理等。它包含来自不同交易系统的历史数据，但也可以包含来自其他来源的数据。DW用于将数据处理和分析工作负载与事务工作负载分开，并能够整合来自多个数据源的数据。

对数据仓库的需求

例如 - 您有一家住房贷款机构，其中数据来自多个 SAP/非 SAP 应用程序，例如营销、销售、ERP、HRM 等。这些数据被提取、转换并加载到 DW 中。如果您必须对产品进行季度/年度销售比较，则不能使用操作数据库，因为这会挂起交易系统。这就是需要使用DW的地方。

数据仓库的特征

DW 的一些关键特征是 -

• 它用于报告和数据分析。
• 它提供了一个中央存储库，其中集成了来自一个或多个来源的数据。
• 它存储当前和历史数据。

数据仓库与事务系统

以下是数据仓库和操作数据库（事务系统）之间的一些区别 -

• 事务系统是为已知的工作负载和事务而设计的，例如更新用户记录、搜索记录等。但是，DW 事务更加复杂并且呈现通用形式的数据。

• 事务系统包含组织的当前数据，而数据仓库通常包含历史数据。

• 事务系统支持多个事务的并行处理。需要并发控制和恢复机制来维护数据库的一致性。

• 操作型数据库查询允许读取和修改操作（删除和更新），而 OLAP 查询只需要对存储数据进行只读访问（select 语句）。

• DW涉及数据清理、数据集成和数据整合。

DW 具有三层架构：数据源层、集成层和表示层。下图显示了数据仓库系统的常见架构。

数据仓库系统的类型

以下是 DW 系统的类型 -

• 数据库
• 在线分析处理（OLAP）
• 在线事务处理 (OLTP)
• 预测分析

数据库

数据集市是数据仓库的最简单形式，通常专注于单一功能领域，例如销售、财务或营销。因此，数据集市通常仅从少数数据源获取数据。

源可以是内部事务系统、中央数据仓库或外部数据源应用程序。反规范化是该系统中数据建模技术的规范。

在线分析处理（OLAP）

OLAP 系统包含较少数量的事务，但涉及复杂的计算，例如使用聚合 - 总和、计数、平均值等。

什么是聚合？

我们保存具有聚合数据的表，例如每年（1 行）、季度（4 行）、每月（12 行），现在我们要比较数据，例如每年仅处理 1 行。但是，在未聚合的数据中，所有行都将被处理。

OLAP系统通常以多维模式存储数据，如星型模式、银河模式（事实表和维度表以逻辑方式连接）。

在 OLAP 系统中，执行查询的响应时间是一种有效性度量。数据挖掘技术广泛使用 OLAP 应用程序来从 OLAP 系统获取数据。OLAP 数据库以多维模式存储聚合的历史数据。OLAP 系统的数据延迟为几个小时，而数据集市的延迟通常接近几天。

在线事务处理 (OLTP)

OLTP 系统以大量短在线事务（例如插入、更新、删除等）而闻名。OLTP 系统提供快速查询处理，并负责在多访问环境中提供数据完整性。

对于 OLTP 系统，有效性是通过每秒处理的事务数来衡量的。OLTP 系统通常仅包含当前数据。用于存储事务数据库的模式是实体模型。标准化用于 OLTP 系统中的数据建模技术。

OLTP 与 OLAP

下图显示了 OLTP 和 OLAP 系统之间的主要区别。

索引- 在 OLTP 系统中，只有很少的索引，而在 OLAP 系统中，有很多用于性能优化的索引。

连接- 在 OLTP 系统中，大量连接和数据被标准化；然而，在 OLAP 系统中，连接较少且非规范化。

聚合- 在 OLTP 系统中，不聚合数据，而在 OLAP 数据库中使用更多聚合。