Apache NiFi - 数据来源


Apache NiFi 记录并存储有关流中摄取数据上发生的事件的所有信息。数据来源存储库存储此信息并提供 UI 来搜索此事件信息。还可以访问完整 NiFi 级别和处理器级别的数据来源。

数据来源

下表列出了 NiFi 数据来源事件列表中的不同字段,其中包含以下字段 -

编号 字段名称 描述
1 约会时间 事件的日期和时间。
2 类型 事件类型,如“创建”。
3 流文件Uuid 执行事件的流文件的 UUID。
4 尺寸 流文件的大小。
5 组件名称 执行事件的组件的名称。
6 元件类型 组件的类型。
7 显示血统 最后一列有“显示沿袭”图标,用于查看流文件沿袭,如下图所示。
血统图标

要获取有关该事件的更多信息,用户可以单击 NiFi Data Provenance UI 第一列中的信息图标。

nifi.properties 文件中有一些属性,用于管理 NiFi Data Provenance 存储库。

编号 物业名称 默认值 描述
1 nifi.provenance.repository.directory.default ./provenance_repository 指定NiFi数据来源的默认路径。
2 nifi.provenance.repository.max.storage.time 24小时 指定 NiFi 数据来源的最长保留时间。
3 nifi.provenance.repository.max.storage.size 1GB 指定 NiFi 数据来源的最大存储量。
4 nifi.provenance.repository.rollover.time 30秒 指定 NiFi 数据来源的滚动时间。
5 nifi.provenance.repository.rollover.size 100MB 指定 NiFi 数据来源的翻转大小。
6 nifi.provenance.repository.indexed.fields 事件类型、FlowFileUUID、文件名、处理器ID、关系 指定用于搜索和索引 NiFi 数据来源的字段。