- SAP BODS 教程
- SAP BODS - 主页
- 数据仓库与ETL
- DW - 概述
- DW - 类型
- DW - 产品和供应商
- ETL - 简介
- SAP BO 数据服务
- SAP BODS - 概述
- SAP BODS - 架构
- SAP BODS - 数据服务设计师
- SAP BODS 存储库
- SAP BODS - 存储库概述
- 存储库创建和更新
- 数据服务管理控制台
- SAP BODS - DSMC 模块
- SAP BODS - DS Designer 简介
- SAP BODS - DS Designer 中的 ETL 流程
- SAP BODS 数据存储和格式
- SAP BODS - 数据存储概述
- SAP BODS - 更改数据存储
- SAP BODS - 内存数据存储
- SAP BODS - 链接数据存储
- SAP BODS - 适配器数据存储
- SAP BODS - 文件格式
- COBOL 抄写本文件格式
- 从数据库表中提取数据
- 从 Excel 工作簿中提取数据
- SAP BODS 转换
- SAP BODS - 转换类型
- 将转换添加到数据流
- SAP BODS - 查询转换
- SAP BODS 管理
- SAP BODS - 数据服务概述
- 创建嵌入式数据流
- 调试与恢复机制
- 数据评估和数据分析
- SAP BODS - 调整技术
- SAP BODS 有用资源
- SAP BODS - 问题解答
- SAP BODS - 快速指南
- SAP BODS - 有用的资源
- SAP BODS - 讨论
SAP BODS - 快速指南
DW - 概述
数据仓库被称为中央存储库,用于存储来自一个或多个异构数据源的数据。数据仓库用于报告和分析信息并存储历史和当前数据。DW系统中的数据用于分析报告,随后供业务分析师、销售经理或知识工作者用于决策。
DW系统中的数据是从销售、营销、HR、SCM等运营事务系统加载的。在加载到DW系统进行信息处理之前,它可能会经过运营数据存储或其他转换。
数据仓库 - 主要功能
DW 系统的主要特点是 -
它是中央数据存储库,其中存储来自一个或多个异构数据源的数据。
DW 系统存储当前数据和历史数据。通常DW系统存储5-10年的历史数据。
DW 系统始终与可操作的事务系统分开。
DW 系统中的数据用于不同类型的分析报告,范围从季度到年度比较。
需要 DW 系统
假设您有一家住房贷款机构,其中的数据来自多个应用程序,例如营销、销售、ERP、HRM、MM 等。这些数据在数据仓库中提取、转换和加载。
例如,如果您必须比较产品的季度/年度销售额,则不能使用操作事务数据库,因为这会挂起事务系统。因此,数据仓库就是用于此目的。
DW和ODB的区别
数据仓库和操作数据库(事务数据库)之间的区别如下:
事务系统是为已知的工作负载和事务而设计的,例如更新用户记录、搜索记录等。但是,数据仓库事务更加复杂,并且呈现通用形式的数据。
事务系统包含组织的当前数据,数据仓库通常包含历史数据。
事务系统支持多个事务的并行处理。需要并发控制和恢复机制来维护数据库的一致性。
操作数据库查询允许读取和修改操作(删除和更新),而 OLAP 查询仅需要存储数据的只读访问(Select 语句)。
数据仓库架构
数据仓库涉及数据清理、数据集成和数据整合。
数据仓库具有 3 层架构 -数据源层、集成层和表示层。上图显示了数据仓库系统的常见架构。
DW - 类型
数据仓库系统有四种类型。
- 数据库
- 在线分析处理(OLAP)
- 在线事务处理 (OLTP)
- 预测分析(PA)
数据库
数据集市被称为数据仓库系统的最简单形式,通常由组织中的单个功能区域组成,例如销售、财务或营销等。
组织中的数据集市由单个部门创建和管理。由于它属于单个部门,因此该部门通常仅从少数或一种类型的源/应用程序获取数据。该源可以是内部操作系统、数据仓库或外部系统。
在线分析处理
与事务系统相比,OLAP 系统中的事务数量较少。执行的查询本质上很复杂并且涉及数据聚合。
什么是聚合?
我们保存带有聚合数据的表,例如每年(1 行)、每季度(4 行)、每月(12 行)左右,如果有人必须进行年度比较,则只会处理一行。但是,在未聚合的表中,它将比较所有行。
SELECT SUM(salary) FROM employee WHERE title = 'Programmer';
OLAP系统中的有效措施
响应时间被认为是OLAP系统中最有效、最关键的衡量标准之一。聚合存储的数据以多维模式(如星型模式)进行维护(当数据被排列成分层组(通常称为维度)并排列成事实和聚合事实时,称为模式)。
与预计延迟接近一天的数据集市相比,OLAP 系统的延迟为几个小时。
在线交易处理
在OLTP系统中,存在大量INSERT、UPDATE、DELETE等短在线事务。
在OLTP系统中,一个有效的衡量标准是短事务的处理时间并且非常少。它控制多访问环境中的数据完整性。对于 OLTP 系统,每秒的事务数衡量有效性。OLTP 数据仓库系统包含当前的详细数据,并在实体模型 (3NF) 的架构中进行维护。
例子
零售店的日常交易系统,每天都会插入、更新和删除客户记录。它提供非常快速的查询处理。OLTP 数据库包含详细的最新数据。用于存储OLTP数据库的Schema就是Entity模型。
OLTP 和 OLAP 之间的区别
下图显示了OLTP和OLAP系统之间的主要区别。
索引- OLTP 系统只有很少的索引,而在 OLAP 系统中有很多用于性能优化的索引。
连接- 在 OLTP 系统中,大量连接和数据被标准化。然而,在 OLAP 系统中,连接较少且非规范化。
聚合- 在 OLTP 系统中,不聚合数据,而在 OLAP 数据库中使用更多聚合。
预测分析
预测分析是指通过使用不同的数学函数来发现 DW 系统中存储的数据中的隐藏模式来预测未来的结果。
预测分析系统在用途上与 OLAP 系统不同。它用于关注未来的结果。OALP 系统侧重于分析报告的当前和历史数据处理。
DW - 产品和供应商
市场上有各种满足 DW 系统功能的数据仓库/数据库系统。数据仓库系统最常见的供应商是 -
- 微软SQL服务器
- 甲骨文数据库云服务器
- IBM Netezza
- 泰拉数据
- 赛贝斯智商
- SAP 业务仓库 (SAP BW)
SAP 业务仓库
SAP Business Warehouse是 SAP NetWeaver 发布平台的一部分。在 NetWeaver 7.4 之前,它被称为 SAP NetWeaver Business Warehouse。
SAP BW 中的数据仓库意味着数据集成、转换、数据清理、存储和数据暂存。DW 流程包括 BW 系统中的数据建模、分级和管理。BW系统中用于管理DW任务的主要工具是管理工作台。
主要特征
SAP BW 提供商业智能等功能,其中包括分析服务和业务规划、分析报告、查询处理和信息以及企业数据仓库。
它提供了数据库和数据库管理工具的组合,有助于做出决策。
BW 系统的其他主要功能包括业务应用程序编程接口 (BAPI),支持连接到非 SAP R/3 应用程序、自动数据提取和加载、集成 OLAP 处理器、元数据存储库、管理工具、多语言支持和支持网络的界面。
SAP BW 由德国 SAP 公司于 1998 年首次推出。SAP BW 系统基于模型驱动的方法,使 SAP R3 数据的企业数据仓库变得简单、简单且高效。
过去 16 年以来,SAP BW 已发展成为许多公司管理企业数据仓库需求的关键系统之一。
Business Explorer (BEx)提供了公司灵活报告、战略分析和运营报告的选项。
它用于在BI系统中执行报表、查询执行和分析功能。您还可以通过 Web 和 Excel 格式处理不同程度详细程度的当前和历史数据。
使用BEx信息广播,BI 内容可以通过电子邮件作为文档或以链接的形式作为实时数据共享,也可以使用 SAP EP 功能进行发布。
业务对象和产品
SAP Business Objects 被称为最常见的商业智能工具,用于在不同平台上操作数据、用户访问、分析、格式化和发布信息。它是一套基于前端的工具,使业务用户和决策者能够显示、排序和分析商业智能的当前和历史数据。
它包括以下工具 -
网络智能
Web Intelligence (WebI) 被称为最常见的 Business Objects 详细报告工具,支持各种数据分析功能,如钻取、层次结构、图表、计算度量等。它允许最终用户在查询面板中创建即席查询,在线和离线进行数据分析。
SAP 业务对象 Xcelsius/仪表板
仪表板为最终用户提供数据可视化和仪表板功能,您可以使用此工具创建交互式仪表板。
您还可以添加各种类型的图表和图形,并创建用于数据可视化的动态仪表板,这些主要用于组织中的财务会议。
水晶报表
Crystal Reports 用于生成像素完美的报告。这使用户能够创建和设计报告,然后将其用于打印目的。
探险家
资源管理器允许用户搜索 BI 存储库中的内容,最佳匹配以图表的形式显示。无需写下查询即可执行搜索。
用于详细报告、数据可视化和仪表板目的的各种其他组件和工具包括 Design Studio、Microsoft Office 分析版、BI 存储库和 Business Objects Mobile 平台。
ETL - 简介
ETL 代表提取、转换和加载。ETL工具从不同的RDBMS源系统中提取数据,对数据进行转换(例如应用计算、连接等),然后将数据加载到数据仓库系统。数据以维度表和事实表的形式加载到DW系统中。
萃取
ETL 加载期间需要暂存区。需要暂存区的原因有多种。
源系统仅可在特定时间段内提取数据。该时间段小于总数据加载时间。因此,暂存区允许您在时隙结束之前从源系统中提取数据并将其保留在暂存区中。
当您想要从多个数据源一起获取数据或者想要将两个或多个系统连接在一起时,需要暂存区域。例如,您将无法执行连接两个物理上不同的数据库中的两个表的 SQL 查询。
不同系统的数据提取时间段因时区和运行时间而异。
从源系统提取的数据可用于多个数据仓库系统、操作数据存储等。
ETL 允许您执行复杂的转换,并且需要额外的空间来存储数据。
转换
在数据转换中,您对提取的数据应用一组函数以将其加载到目标系统中。不需要任何转换的数据称为直接移动或传递数据。
您可以对从源系统提取的数据应用不同的转换。例如,您可以执行自定义计算。如果您想要销售收入总和并且该数据不在数据库中,您可以在转换期间应用SUM公式并加载数据。
例如,如果表中的名字和姓氏位于不同的列中,则可以在加载之前使用连接。
加载
在加载阶段,数据被加载到最终目标系统中,它可以是平面文件或数据仓库系统。
SAP BODS - 概述
SAP BO Data Services 是一种 ETL 工具,用于数据集成、数据质量、数据分析和数据处理。它允许您集成、转换可信的数据到数据仓库系统以进行分析报告。
BO 数据服务由 UI 开发界面、元数据存储库、与源和目标系统的数据连接以及用于调度作业的管理控制台组成。
数据集成和数据管理
SAP BO Data Services 是一种数据集成和管理工具,由 Data Integrator Job Server 和 Data Integrator Designer 组成。
主要特征
您可以使用 Data Integrator 语言应用各种数据转换来应用复杂的数据转换并构建自定义功能。
Data Integrator Designer 用于在存储库中存储实时和批处理作业以及新项目。
DI Designer 还通过提供具有所有基本功能的中央存储库,为基于团队的 ETL 开发提供了一个选项。
Data Integrator 作业服务器负责处理使用 DI Designer 创建的作业。
网页管理员
系统管理员和数据库管理员使用 Data Integrator Web 管理员来维护数据服务中的存储库。数据服务包括元数据存储库、用于基于团队的开发的中央存储库、作业服务器和 Web 服务。
DI Web Administrator 的主要功能
- 它用于调度、监视和执行批处理作业。
- 它用于配置以及启动和停止实时服务器。
- 它用于配置作业服务器、访问服务器和存储库的使用。
- 它用于配置适配器。
- 它用于配置和控制 BO Data Services 中的所有工具。
数据管理功能强调数据质量。它涉及数据清理、增强和合并数据,以在DW系统中获得正确的数据。
SAP BODS - 架构
在本章中,我们将了解 SAP BODS 架构。下图显示了带有暂存区域的 BODS 系统的架构。
源层
源层包括不同的数据源,例如 SAP 应用程序和非 SAP RDBMS 系统,数据集成发生在暂存区。
SAP Business Objects Data Services 包括不同的组件,如数据服务设计器、数据服务管理控制台、存储库管理器、数据服务服务器管理器、工作台等。目标系统可以是 SAP HANA、SAP BW 等 DW 系统或非 SAP数据仓库系统。
以下屏幕截图显示了 SAP BODS 的不同组件。
您还可以将 BODS 架构分为以下几层 -
- 网络应用层
- 数据库服务器层
- 数据服务服务层
下图显示了 BODS 架构。
产品演进 – ATL、DI 和 DQ
Acta Technology Inc. 开发了 SAP Business Objects Data Services,后来被 Business Objects Company 收购。Acta Technology Inc.是一家美国公司,负责开发第一个数据集成平台。Acta Inc. 开发的两种 ETL 软件产品是数据集成 (DI)工具和数据管理或数据质量( DQ ) 工具。
法国公司Business Objects于2002年收购了Acta Technology Inc.,随后这两款产品均更名为Business Objects Data Integration(BODI)工具和Business Objects Data Quality(BODQ)工具。
SAP 于 2007 年收购了 Business Objects,这两个产品均更名为 SAP BODI 和 SAP BODQ。2008 年,SAP 将这两个产品集成到名为 SAP Business Objects Data Services (BODS) 的单一软件产品中。
SAP BODS提供数据集成和数据管理解决方案,在BODS的早期版本中,包含文本数据处理解决方案。
BODS——对象
BO 数据服务设计器中使用的所有实体都称为对象。所有对象(如项目、作业、元数据和系统功能)都存储在本地对象库中。所有对象本质上都是分层的。
这些对象主要包含以下内容 -
属性- 它们用于描述对象,不影响其操作。示例 - 对象的名称、创建日期等。
选项- 控制对象的操作。
对象类型
系统中有两种类型的对象 - 可重用对象和单次使用对象。对象的类型决定了如何使用和检索该对象。
可重复使用的对象
存储在存储库中的大多数对象都可以重复使用。当定义可重用对象并将其保存在本地存储库中时,您可以通过创建对定义的调用来重用该对象。每个可重用对象只有一个定义,并且对该对象的所有调用都引用该定义。现在,如果对象的定义在一个位置发生更改,则您将更改该对象出现的所有位置的对象定义。
对象库用于包含对象定义,当从库中拖放对象时,将创建对现有对象的新引用。
一次性物品
专门为作业或数据流定义的所有对象都称为一次性对象。例如,任何数据加载中使用的特定转换。
BODS——对象层次结构
所有对象本质上都是分层的。下图显示了 SAP BODS 系统中的对象层次结构 -
BODS - 工具和功能
基于下图所示的架构,我们在 SAP Business Objects Data Services 中定义了许多工具。根据系统环境,每个工具都有自己的功能。
在顶部,您安装了信息平台服务,用于用户和权限安全管理。BODS 依赖中央管理控制台 ( CMC ) 来实现用户访问和安全功能。这适用于4.x版本。在以前的版本中,这是在管理控制台中完成的。
SAP BODS - 数据服务设计师
数据服务设计器是一个开发人员工具,用于创建由数据映射、转换和逻辑组成的对象。它基于 GUI,充当数据服务的设计器。
存储库
存储库用于存储 BO 数据服务中使用的对象的元数据。每个存储库都应在中央管理控制台中注册,并与单个或多个作业服务器链接,这些服务器负责执行您创建的作业。
存储库的类型
存储库分为三种类型。
本地存储库- 用于存储在数据服务设计器中创建的所有对象的元数据,如项目、作业、数据流、工作流等。
中央存储库- 用于控制对象的版本管理并用于多用途开发。中央存储库存储应用程序对象的所有版本。因此,它允许您转移到以前的版本。
Profiler 存储库- 用于管理与 SAP BODS 设计器中执行的探查器任务相关的所有元数据。CMS 存储库存储 BI 平台上 CMC 中执行的所有任务的元数据。Information Steward Repository 存储在 Information Steward 中创建的分析任务和对象的所有元数据。
作业服务器
作业服务器用于执行您创建的实时作业和批处理作业。它从各自的存储库获取作业信息并启动数据引擎来执行作业。作业服务器可以执行实时或计划的作业,并使用内存缓存中的多线程和并行处理来提供性能优化。
接入服务器
数据服务中的访问服务器被称为实时消息代理系统,它接受消息请求,转移到实时服务并在特定时间范围内显示消息。
数据服务管理控制台
数据服务管理控制台用于执行管理活动,例如安排作业、在 DS 系统中生成质量报告、数据验证、文档记录等。
BODS——命名标准
建议对所有系统中的所有对象使用标准命名约定,因为这样您可以轻松识别存储库中的对象。
该表显示了应用于所有作业和其他对象的建议命名约定的列表。
字首 | 后缀 | 目的 |
---|---|---|
DF_ | 不适用 | 数据流 |
EDF_ | _输入 | 嵌入式数据流 |
EDF_ | _输出 | 嵌入式数据流 |
RT作业_ | 不适用 | 实时工作 |
WF_ | 不适用 | 工作流程 |
工作_ | 不适用 | 工作 |
不适用 | _DS | 数据存储 |
直流_ | 不适用 | 数据配置 |
SC_ | 不适用 | 系统配置 |
不适用 | _内存_DS | 内存数据存储 |
进程_ | 不适用 | 存储过程 |
SAP BODS - 存储库概述
BO 数据服务基础知识包括设计工作流中的关键对象,如项目、作业、工作流、数据流、存储库。
BODS – 存储库和类型
存储库用于存储 BO 数据服务中使用的对象的元数据。每个存储库都应在中央管理控制台 (CMC) 中注册,并与单个或多个作业服务器链接,这些服务器负责执行您创建的作业。
存储库的类型
存储库分为三种类型。
本地存储库- 用于存储在数据服务设计器中创建的所有对象的元数据,如项目、作业、数据流、工作流等。
中央存储库- 用于控制对象的版本管理并用于多用途开发。中央存储库存储应用程序对象的所有版本。因此,它允许您转移到以前的版本。
Profiler 存储库- 用于管理与 SAP BODS 设计器中执行的探查器任务相关的所有元数据。CMS 存储库存储 BI 平台上 CMC 中执行的所有任务的元数据。Information Steward Repository 存储在 Information Steward 中创建的分析任务和对象的所有元数据。
SAP BODS - 存储库创建和更新
要创建 BODS 存储库,您需要安装数据库。您可以使用SQL Server、Oracle数据库、My SQL、SAP HANA、Sybase等。
创建存储库
安装 BODS 并创建存储库时,您必须在数据库中创建以下用户。这些用户需要登录不同的服务器,例如CMS服务器、审核服务器等。
创建由 Bodsserver1 标识的用户 BODS
- 授予 BODS 连接;
- 授予 BODS 创建会话权限;
- 向 BODS 授予 DBA;
- 授予 BODS 创建任何表的权限;
- 授予 BODS 创建任何视图;
- 授予 BODS 删除任何表的权限;
- 授予 BODS 放弃任何视图;
- 授予向 BODS 插入任意表的权限;
- 授予将任何表更新到 BODS 的权限;
- 授予 BODS 删除任何表的权限;
- 更改用户的用户 BODS 配额不受限制;
创建由 CMSserver1 标识的用户 CMS
- 授予连接到 CMS 的权限;
- 授予 CMS 创建会话权限;
- 授予CMS DBA;
- 授予 CMS 创建任何表;
- 授予 CMS 创建任何视图;
- 授予删除任何表到 CMS 的权限;
- 授予将任何视图删除到 CMS 的权限;
- 授予插入任何表到 CMS 的权限;
- 授予更新任何表到 CMS 的权限;
- 授予 CMS 删除任何表的权限;
- 更改用户 CMS 配额,对用户无限制;
创建由 CMSAUDITserver1 标识的用户 CMSAUDIT
- 授予连接到 CMSAUDIT 的权限;
- 将创建会话授予 CMSAUDIT;
- 授予CMSAUDIT DBA;
- 将 Create Any Table 授予 CMSAUDIT;
- 将“创建任何视图”授予 CMSAUDIT;
- 将任何表授予 CMSAUDIT;
- 授予 CMSAUDIT 删除任何视图的权限;
- 授予插入任何表到 CMSAUDIT 的权限;
- 授予更新任何表到 CMSAUDIT 的权限;
- 将删除任何表授予 CMSAUDIT;
- 更改用户 CMSAUDIT 配额,对用户无限制;
安装后创建新存储库
步骤 1 - 创建数据库Local_Repo并转到数据服务存储库管理器。将数据库配置为本地存储库。
将打开一个新窗口。
步骤 2 - 在以下字段中输入详细信息 -
存储库类型、数据库类型、数据库服务器名称、端口、用户名和密码。
步骤 3 - 单击“创建”按钮。您将收到以下消息 -
步骤 4 - 现在使用用户名和密码登录SAP BI 平台中的中央管理控制台 CMC 。
步骤 5 - 在 CMC 主页上,单击数据服务。
步骤 6 - 从数据服务菜单中,单击配置新的数据服务存储库。
步骤 7 - 输入新窗口中给出的详细信息。
- 存储库名称:Local_Repo
- 数据库类型:SAP HANA
- 数据库服务器名称: best
- 数据库名称:LOCAL_REPO
- 用户名:
- 密码:*****
步骤 8 - 单击“测试连接”按钮,如果成功,请单击“保存”。保存后,它将出现在 CMC 中的“存储库”选项卡下。
步骤 9 - 在CMC → 用户和组中应用本地存储库的访问权限和安全性。
步骤 10 - 授予访问权限后,转到数据服务设计器 → 选择存储库 → 输入用户名和密码进行登录。
更新存储库
要更新存储库,请按照给定的步骤操作。
步骤 1 - 要在安装后更新存储库,请创建数据库Local_Repo并转到数据服务存储库管理器。
步骤 2 - 将数据库配置为本地存储库。
将打开一个新窗口。
步骤 3 - 输入以下字段的详细信息。
存储库类型、数据库类型、数据库服务器名称、端口、用户名和密码。
您将看到如下屏幕截图所示的输出。
数据服务管理控制台
数据服务管理控制台 (DSMC) 用于执行管理活动,例如安排作业、在 DS 系统中生成质量报告、数据验证、文档记录等。
您可以通过以下方式访问数据服务管理控制台 -
您可以通过开始→ 所有程序 → 数据服务 → 数据服务管理控制台来访问数据服务管理控制台。
如果您已经登录,您还可以通过Designer访问数据服务管理控制台。
要通过Designer 主页访问数据服务管理控制台,请按照以下步骤操作。
要通过工具访问数据服务管理控制台,请按照给定的步骤操作 -
步骤 1 - 转到工具 → 数据服务管理控制台,如下图所示。
步骤 2 - 登录数据服务管理控制台后,主屏幕将打开,如下面的屏幕截图所示。在顶部,您可以看到您登录时使用的用户名。
在主页上,您将看到以下选项 -
- 行政人员
- 自动记录
- 数据验证
- 影响和谱系分析
- 操作仪表板
- 数据质量报告
SAP BODS - DSMC 模块
本章对数据服务管理控制台各模块的关键功能进行说明。
管理员模块
管理员选项用于管理 -
- 用户和角色
- 添加与访问服务器和存储库的连接
- 访问为 Web 服务发布的作业数据
- 用于调度和监控批处理作业
- 检查访问服务器状态和实时服务。
单击“管理员”选项卡后,您可以在左侧窗格中看到许多链接。它们是 - 状态、批处理、Web 服务、SAP 连接、服务器组、Profiler 存储库管理和作业执行历史记录。
节点
下面讨论管理员模块下的各个节点。
地位
状态节点用于检查批处理和实时作业的状态、访问服务器状态、适配器和分析器存储库以及其他系统状态。
单击状态 → 选择存储库
在右侧窗格中,您将看到以下选项的选项卡 -
批处理作业状态- 用于检查批处理作业的状态。您可以检查作业信息,如跟踪、监视器、错误和性能监视器、开始时间、结束时间、持续时间等。
批处理作业配置- 批处理作业配置用于检查单个作业的计划,或者您可以添加操作,例如执行、添加计划、导出执行命令。
存储库计划- 用于查看和配置存储库中所有作业的计划。
批量节点
在“批处理作业”节点下,您将看到与上面相同的选项。
先生。没有。 | 选项和说明 |
---|---|
1 | 批量作业状态 查看上次执行的状态以及有关每个作业的深入信息。 |
2 | 批量作业配置 配置单个作业的执行和调度选项。 |
3 | 存储库时间表 查看和配置存储库中所有作业的计划。 |
网络服务节点
Web 服务用于将实时作业和批处理作业发布为 Web 服务操作并检查这些操作的状态。这也用于维护作为 Web 服务发布的作业的安全性以及查看WSDL文件。
SAP 连接
SAP Connections 用于在数据服务管理控制台中检查状态或配置RFC 服务器接口。
要检查 RFC 服务器接口的状态,请转至 RFC 服务器接口状态选项卡。要添加新的 RFC 服务器接口,请在配置选项卡上单击添加。
当新窗口打开时,输入 RFC 服务器配置详细信息,然后单击“应用”。
服务器组
这用于将与同一存储库关联的所有作业服务器分组到一个服务器组中。此选项卡用于在数据服务中执行作业时进行负载平衡。
当执行作业时,它会检查相应的作业服务器,如果该作业服务器已关闭,则会将该作业移动到同一组中的其他作业服务器。它主要用于生产中的负载平衡。
配置文件存储库
当您将配置文件存储库连接到管理员时,它允许您扩展配置文件存储库节点。您可以转到配置文件任务状态页面。
管理节点
要使用“管理员”选项卡的功能,您需要使用管理节点添加与数据服务的连接。管理节点由管理应用程序的不同配置选项组成。
作业执行历史记录
这用于检查作业或数据流的执行历史记录。使用此选项,您可以检查一个批处理作业或您创建的所有批处理作业的执行历史记录。
当您选择作业时,信息以表格的形式显示,其中包括存储库名称、作业名称、开始时间、结束时间、执行时间、状态等。
SAP BODS - DS Designer 简介
数据服务设计器是一个开发人员工具,用于创建由数据映射、转换和逻辑组成的对象。它基于 GUI,充当数据服务的设计器。
您可以使用数据服务设计器创建各种对象,例如项目、作业、工作流、数据流、映射、转换等。
要启动数据服务设计器,请按照以下步骤操作。
步骤 1 - 指向“开始”→“所有程序”→“SAP Data Services 4.2”→“数据服务设计器”。
步骤 2 - 选择存储库并输入密码进行登录。
选择存储库并登录数据服务设计器后,将出现一个主屏幕,如下图所示。
在左侧窗格中,您有项目区域,您可以在其中创建新项目、作业、数据流、工作流等。在项目区域中,您有本地对象库,其中包含在 Data Services 中创建的所有对象。
在底部窗格中,您可以通过转到特定选项(例如项目、作业、数据流、工作流等)来打开现有对象。从底部窗格中选择任何对象后,它将显示所有已经相似的对象在本地对象库下的存储库中创建。
在右侧,您有一个主屏幕,可用于 -
- 创建项目
- 开放项目
- 创建数据存储
- 创建存储库
- 从平面文件导入
- 数据服务管理控制台
SAP BODS - DS Designer 中的 ETL 流程
要开发 ETL 流程,您首先需要为源系统和目标系统创建数据存储。按照给出的步骤开发 ETL 流程 -
步骤 1 - 单击创建数据存储。
将打开一个新窗口。
步骤 2 - 输入数据存储名称、数据存储类型和数据库类型,如下所示。您可以选择不同的数据库作为源系统,如下图所示。
步骤 3 - 要使用 ECC 系统作为数据源,请选择 SAP 应用程序作为数据存储类型。输入用户名和密码,然后在“高级”选项卡上输入系统编号和客户端编号。
步骤 4 - 单击“确定”,数据存储将添加到本地对象库列表中。如果展开数据存储,它不会显示任何表。
步骤 5 - 要从 ECC 系统中提取任何表以加载到目标系统上,请右键单击“表”→“按名称导入”。
步骤 6 - 输入表名称并单击导入。这里使用Table-Mara,它是ECC系统中的默认表。
步骤 7 - 以类似的方式,为目标系统创建一个数据存储。在此示例中,使用 HANA 作为目标系统。
单击“确定”后,该数据存储将被添加到本地对象库中,并且内部不会有任何表。
创建 ETL 流程
要创建 ETL 流程,请创建一个新项目。
步骤 1 - 单击选项“创建项目”。输入项目名称并单击创建。它将被添加到项目区域。
步骤 2 - 右键单击项目名称并创建一个新的批处理作业/实时作业。
步骤 3 - 输入作业名称,然后按 Enter。您必须向其中添加工作流和数据流。选择一个工作流程并单击要添加到作业的工作区域。输入工作流的名称并双击它以添加到项目区域。
步骤 4 - 以类似的方式,选择数据流并将其带到项目区域。输入数据流的名称,双击将其添加到新项目下。
步骤 5 - 现在将数据存储下的源表拖到工作区域。现在您可以将具有相似数据类型的目标表拖到工作区,也可以创建新的模板表。
要创建新的模板表,请右键单击源表,“添加新项”→“模板表”。
步骤 6 - 输入表名称并从列表中选择数据存储作为目标数据存储。所有者名称表示必须在其中创建表的架构名称。
该表将以该表名称添加到工作区。
步骤 7 - 将线从源表拖到目标表。单击顶部的“全部保存”选项。
现在,您可以使用数据服务管理控制台安排作业,也可以通过右键单击作业名称并执行来手动执行它。
SAP BODS - 数据存储概述
数据存储用于在应用程序和数据库之间建立连接。您可以直接创建数据存储,也可以借助适配器来创建。数据存储允许应用程序/软件从应用程序或数据库读取或写入元数据以及写入该数据库或应用程序。
在 Business Objects Data Services 中,您可以使用数据存储连接到以下系统 -
- 大型机系统和数据库
- 带有用户编写的适配器的应用程序和软件
- SAP 应用程序、SAP BW、Oracle 应用程序、Siebel 等。
SAP Business Objects Data Services 提供了使用Attunity Connector连接到大型机接口的选项。使用Attunity,将数据存储连接到下面给出的源列表 -
- 用于 OS/390 的 DB2 UDB
- 用于 OS/400 的 DB2 UDB
- IMS/数据库
- VSAM
- 阿达巴斯
- OS/390 和 OS/400 上的平面文件
使用 Attunity 连接器,您可以借助软件连接到主机数据。该软件需要使用ODBC接口手动安装在主机服务器和本地客户端作业服务器上。
输入主机位置、端口、Attunity 工作区等详细信息。
为数据库创建数据存储
要为数据库创建数据存储,请按照以下步骤操作。
步骤 1 - 输入数据存储名称、数据存储类型和数据库类型,如下图所示。您可以选择不同的数据库作为列表中给出的源系统。
步骤 2 - 要使用 ECC 系统作为数据源,请选择 SAP 应用程序作为数据存储类型。输入用户名和密码。单击高级选项卡并输入系统编号和客户端编号。
步骤 3 - 单击“确定”,数据存储将添加到本地对象库列表中。如果展开数据存储区,则不会显示任何表。
SAP BODS - 更改数据存储
在本章中,我们将学习如何编辑或更改数据存储。要更改或编辑数据存储,请按照以下步骤操作。
步骤 1 - 要编辑数据存储,请右键单击数据存储名称,然后单击编辑。它将打开数据存储编辑器。
您可以编辑当前数据存储配置的连接信息。
步骤 2 - 单击“高级”按钮,您可以编辑客户端编号、系统 ID 和其他属性。
步骤 3 - 单击编辑选项添加、编辑和删除配置。
步骤 4 - 单击“确定”,更改将被应用。
SAP BODS - 内存数据存储
您可以使用内存作为数据库类型来创建数据存储。内存数据存储用于提高实时作业中数据流的性能,因为它将数据存储在内存中以方便快速访问,并且不需要转到原始数据源。
内存数据存储用于在存储库中存储内存表模式。这些内存表从关系数据库中的表或使用分层数据文件(如 XML 消息和 IDoc)获取数据。内存表一直保持活动状态,直到作业执Behave止,并且内存表中的数据不能在不同的实时作业之间共享。
创建内存数据存储
要创建内存数据存储,请按照以下步骤操作。
步骤 1 - 单击创建数据存储并输入数据存储的名称“Memory_DS_TEST”。内存表与普通 RDBMS 表一起呈现,并且可以通过命名约定进行识别。
步骤 2 - 在数据存储类型中,选择数据库,然后在数据库类型中选择内存。单击“确定”。
步骤 3 - 现在转到项目→新建→项目,如下面的屏幕截图所示。
步骤 4 - 通过右键单击创建一个新作业。添加工作流和数据流,如下所示。
步骤 5 - 选择模板表并拖放到工作区域。将打开“创建表”窗口。
步骤 6 - 输入表的名称,然后在数据存储中选择内存数据存储。如果您需要系统生成的行 ID,请选中创建行 ID复选框。单击“确定”。
步骤 7 - 将此内存表连接到数据流,然后单击顶部的全部保存。
作为源和目标的内存表
使用内存表作为目标 -
步骤 1 - 转到本地对象库,单击数据存储选项卡。展开内存数据存储→展开表。
步骤 2 - 选择要用作源表或目标表的内存表并将其拖动到工作流程。将此内存表连接到数据流中作为源或目标。
步骤 3 - 单击保存按钮保存作业。
SAP BODS - 链接数据存储
有多种数据库供应商,它们仅提供从一个数据库到另一数据库的单向通信路径。这些路径称为数据库链接。在 SQL Server 中,链接服务器允许从一个数据库到另一个数据库的单向通信路径。
例子
考虑名为“Product”的本地数据库服务器存储数据库链接以访问名为“ Customer”的远程数据库服务器上的信息。现在,连接到远程数据库服务器 Customer 的用户无法使用相同的链接访问数据库服务器 Product 中的数据。连接到“客户”的用户应该在服务器的数据字典中有一个单独的链接来访问产品数据库服务器中的数据。
两个数据库之间的这种通信路径称为数据库链接。在这些链接数据库关系之间创建的数据存储称为链接数据存储。
可以将一个数据存储连接到另一个数据存储并导入外部数据库链接作为数据存储的选项。
SAP BODS - 适配器数据存储
适配器数据存储允许您将应用程序元数据导入存储库。您可以访问应用程序元数据并在不同应用程序和软件之间移动批量和实时数据。
SAP 提供了一个适配器软件开发套件 - SDK,可用于开发定制适配器。这些适配器通过适配器数据存储显示在数据服务设计器中。
要使用适配器提取或加载数据,您应该至少定义一个数据存储用于此目的。
适配器数据存储 - 定义
要定义自适应数据存储,请按照给定的步骤操作 -
步骤 1 - 单击创建数据存储→ 输入数据存储的名称。选择数据存储类型作为适配器。从列表中选择作业服务器和适配器实例名称,然后单击“确定”。
浏览应用程序元数据
右键单击数据存储名称,然后单击打开。它将打开一个显示源元数据的新窗口。单击+号检查对象,然后右键单击要导入的对象。
SAP BODS - 文件格式
文件格式被定义为一组属性来呈现平面文件的结构。它定义了元数据结构。当数据存储在文件中而不是数据库中时,使用文件格式连接到源数据库和目标数据库。
文件格式用于以下功能 -
- 创建文件格式模板来定义文件的结构。
- 在数据流中创建特定的源文件和目标文件格式。
以下类型的文件可以使用文件格式用作源文件或目标文件 -
- 分隔符
- SAP 运输
- 非结构化文本
- 非结构化二进制
- 固定宽度
文件格式编辑器
文件格式编辑器用于设置文件格式模板以及源文件格式和目标文件格式的属性。
文件格式编辑器中提供以下模式 -
新模式- 它允许您创建新的文件格式模板。
编辑模式- 它允许您编辑现有的文件格式模板。
源模式- 它允许您编辑特定源文件的文件格式。
目标模式- 它允许您编辑特定目标文件的文件格式。
文件格式编辑器有三个工作区域 -
属性值- 用于编辑文件格式属性的值。
列属性- 用于编辑和定义文件中的列或字段。
数据预览- 用于查看设置如何影响样本数据。
创建文件格式
要创建文件格式,请按照以下步骤操作。
步骤 1 - 转到本地对象库→平面文件。
步骤 2 - 右键单击平面文件选项 → 新建。
将打开一个新的文件格式编辑器窗口。
步骤 3 - 选择文件格式的类型。输入描述文件格式模板的名称。对于定界文件和固定宽度文件,您可以使用自定义传输程序读取和加载。输入其他属性来描述该模板代表的文件。
您还可以在列属性工作区中为某些特定文件格式指定列的结构。定义所有属性后,单击“保存”按钮。
编辑文件格式
要编辑文件格式,请按照以下步骤操作。
步骤 1 - 在本地对象库中,转到“格式”选项卡。
步骤 2 - 选择您要编辑的文件格式。右键单击编辑选项。
在文件格式编辑器中进行更改,然后单击“保存”按钮。
SAP BODS - COBOL Copybook 文件格式
您可以创建 COBOL copybook 文件格式,这会减慢您仅创建该格式的速度。将格式添加到数据流后,您可以稍后配置源。
您可以创建文件格式并将其同时连接到数据文件。请按照下面给出的步骤操作。
步骤 1 - 转到本地对象库 → 文件格式 → COBOL Copybooks。
步骤 2 - 右键单击“新建”选项。
步骤 3 - 输入格式名称。转到“格式”选项卡 → 选择要导入的 COBOL copybook。文件的扩展名是.cpy。
步骤 4 - 单击“确定”。此文件格式已添加到本地对象库中。将打开 COBOL Copybook 架构名称对话框。如果需要,重命名架构并单击“确定”。
从数据库表中提取数据
通过使用数据库数据存储,您可以从数据库中的表和函数中提取数据。当您执行元数据数据导入时,工具允许您编辑列名称、数据类型、描述等。
您可以编辑以下对象 -
- 表名
- 列名称
- 表说明
- 栏目说明
- 列数据类型
- 栏目内容类型
- 表属性
- 首要的关键
- 业主姓名
导入元数据
要导入元数据,请按照以下步骤操作 -
步骤 1 - 转到本地对象库 → 转到您要使用的数据存储。
步骤 2 - 右键单击数据存储 → 打开。
在工作区中,将显示所有可导入的项目。选择要为其导入元数据的项目。
在对象库中,转到数据存储以查看导入对象的列表。
从 Excel 工作簿中提取数据
您可以使用 Data Services 中的文件格式将 Microsoft Excel 工作簿用作数据源。Excel 工作簿应可在 Windows 文件系统或 Unix 文件系统上使用。
先生。 | 访问和描述 |
---|---|
1 | 在对象库中,单击“格式”选项卡。 Excel 工作簿形式描述了 Excel 工作簿中定义的结构(以 .xls 扩展名表示)。您可以在对象库中存储 Excel 数据范围的格式模板。您可以使用模板来定义数据流中特定源的格式。SAP Data Services 仅将 Excel 工作簿作为源(而不是目标)进行访问。 |
右键单击“新建”选项并选择“Excel 工作簿”,如下面的屏幕截图所示。
从 XML 文件 DTD、XSD 中提取数据
您还可以导入 XML 或 DTD 架构文件格式。
步骤 1 - 转到本地对象库 → 格式选项卡 → 嵌套架构。
步骤 2 - 指向新建(您可以选择 DTD 文件或 XML 架构或 JSON 文件格式)。输入文件格式的名称并选择要导入的文件。单击“确定”。
从 COBOL Copybook 中提取数据
您还可以导入 COBOL copybook 中的文件格式。转到本地对象库 → 格式 → COBOL Copybooks。
SAP BODS - 数据流简介
数据流用于将数据从源系统提取、转换和加载到目标系统。所有转换、加载和格式化都发生在数据流中。
在项目中定义数据流后,可以将其添加到工作流或 ETL 作业中。数据流可以使用参数发送或接收对象/信息。数据流以DF_Name格式命名。
数据流示例
假设您想要在 DW 系统中加载事实表,其中包含源系统中两个表的数据。
数据流包含以下对象 -
- 两个源表
- 两个表之间的联接并在查询转换中定义
- 目标表
可以将三种类型的对象添加到数据流中。他们是 -
- 来源
- 目标
- 变换
步骤 1 - 转到本地对象库并将两个表拖到工作空间。
步骤 2 - 要添加查询转换,请从右侧工具栏拖动。
步骤 3 - 连接两个表并通过右键单击查询框→添加新→新模板表来创建模板目标表。
步骤 4 - 输入要在其下创建表的目标表的名称、数据存储名称和所有者(架构名称)。
步骤 5 - 将目标表拖到前面并将其连接到查询转换。
传递参数
您还可以将不同的参数传入和传出数据流。将参数传递给数据流时,数据流中的对象会引用这些参数。使用参数,您可以将不同的操作传递给数据流。
示例 - 假设您已向有关上次更新的表输入参数。它允许您仅提取自上次更新以来修改的行。
SAP BODS - 数据流更改属性
您可以更改数据流的属性,例如执行一次、缓存类型、数据库链接、并行性等。
步骤 1 - 要更改数据流的属性,请右键单击数据流→属性
您可以为数据流设置各种属性。下面给出了属性。
先生。没有。 | 属性及说明 |
---|---|
1 | 仅执行一次 当您指定数据流只应执行一次时,批处理作业将永远不会在数据流成功完成后重新执行该数据流,除非该数据流包含在作为重新执行的恢复单元的工作流中在恢复单元之外的其他地方尚未成功完成。如果父工作流是恢复单元,建议您不要将数据流标记为仅执行一次。 |
2 | 使用数据库链接 数据库链接是一个数据库服务器与另一数据库服务器之间的通信路径。数据库链接允许本地用户访问远程数据库上的数据,远程数据库可以位于相同或不同数据库类型的本地或远程计算机上。 |
3 | 并行度 并行度 (DOP) 是数据流的一个属性,它定义数据流中的每个转换要复制多少次以处理并行数据子集。 |
4 | 缓存类型 您可以缓存数据以提高连接、分组、排序、过滤、查找和表比较等操作的性能。您可以为数据流属性窗口上的缓存类型选项选择以下值之一 -
|
步骤 2 - 更改属性,例如仅执行一次、并行度和缓存类型。
源对象和目标对象
数据流可以使用以下对象直接提取或加载数据 -
源对象- 源对象定义从中提取数据或读取数据的源。
目标对象- 目标对象定义您加载或写入数据的目标。
可以使用以下类型的源对象,并对源对象使用不同的访问方法。
桌子 | 由关系数据库中使用的列和行格式化的文件 | 直接或通过adap |