ETL 测试 – 数据转换


执行数据转换有点复杂,因为它无法通过编写单个 SQL 查询然后将输出与目标进行比较来实现。对于 ETL 测试数据转换,您可能需要为每一行编写多个 SQL 查询来验证转换规则。

首先,确保源数据足以测试所有转换规则。对数据转换进行成功的 ETL 测试的关键是从源系统中选取正确且足够的样本数据来应用转换规则。

ETL 测试数据转换的关键步骤如下:

  • 第一步是创建输入数据场景和预期结果列表,并与业务客户一起验证这些内容。这是设计期间收集需求的好方法,也可以用作测试的一部分。

  • 下一步是创建包含所有场景的测试数据。利用 ETL 开发人员自动化使用场景电子表格填充数据集的整个过程,以实现多功能性和移动性,因为场景可能会发生变化。

  • 接下来,利用数据分析结果来比较目标数据和源数据之间每个字段中值的范围和提交情况。

  • 验证 ETL 生成字段(例如代理键)的准确处理。

  • 验证仓库中的数据类型与数据模型或设计中指定的相同。

  • 在测试引用完整性的表之间创建数据场景。

  • 验证数据中的父子关系。

  • 最后一步是执行查找转换。您的查找查询应该是直接的,没有任何聚合,并且预计每个源表仅返回一个值。您可以像之前的测试一样直接在源限定符中加入查找表。如果不是这种情况,请编写一个查询,将查找表与源中的主表连接起来,并比较目标中相应列中的数据。