亚马逊网络服务教程
AWS - 主页

亚马逊网络服务 - Kinesis

Amazon Kinesis是一项托管、可扩展、基于云的服务，允许实时处理每秒传输的大量数据流。它专为实时应用程序而设计，允许开发人员从多个来源获取任意数量的数据，并按比例缩放可在 EC2 实例上运行。

它用于捕获、存储和处理来自大型分布式流（例如事件日志和社交媒体源）的数据。处理数据后，Kinesis 将其同时分发给多个消费者。

如何使用亚马逊KCL？

它用于我们需要快速移动数据及其连续处理的情况。Amazon Kinesis 可用于以下情况 -

数据日志和数据馈送- 我们无需等待批处理数据，我们可以在数据生成后立即将数据推送到 Amazon Kinesis 流。它还可以在数据生成器发生故障时保护数据丢失。例如：系统和应用程序日志可以连续添加到流中，并且可以在需要时在几秒钟内可用。
实时图表- 我们可以使用 Amazon Kinesis 流提取图表/指标来创建报告结果。我们不需要等待数据批次。
实时数据分析- 我们可以使用 Amazon Kinesis 运行实时流数据分析。

Amazon Kinesis 的局限性？

以下是使用 Amazon Kinesis Streams 时应牢记的某些限制 -

默认情况下，流记录最多可访问 24 小时，并且通过启用延长数据保留可延长最多 7 天。
一条记录中数据 blob（Base64 编码前的数据负载）的最大大小为 1 兆字节 (MB)。
一个分片每秒最多支持 1000 条 PUT 记录。
有关限制的更多信息，请访问以下链接 - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

如何使用亚马逊Kinesis？

以下是使用 Amazon Kinesis 的步骤 -

步骤 1 - 使用以下步骤设置 Kinesis Stream -

登录 AWS 帐户。从 Amazon 管理控制台中选择 Amazon Kinesis。
单击创建流并填写必填字段，例如流名称和分片数量。单击创建按钮。

创建流

该流现在将在流列表中可见。

步骤 2 - 在 Kinesis 流上设置用户。创建新用户并向每个用户分配策略。（我们已经讨论了上面创建用户并向他们分配策略的过程）

步骤 3 - 将您的应用程序连接到 Amazon Kinesis；在这里，我们将 Zoomdata 连接到 Amazon Kinesis。以下是连接步骤。

以管理员身份登录 Zoomdata，然后单击菜单中的来源。

选择 Kinesis 图标并填写所需的详细信息。单击下一步按钮。

在“流”选项卡上选择所需的流。
在“字段”选项卡上，根据需要创建唯一的标签名称，然后单击“下一步”按钮。
在“图表”选项卡上，启用数据图表。根据需要自定义设置，然后单击“完成”按钮保存设置。

亚马逊Kinesis的特点

实时处理- 它允许实时收集和分析信息，例如股票交易价格，否则我们需要等待数据输出报告。
易于使用- 使用 Amazon Kinesis，我们可以创建新流、设置其要求并快速开始流式传输数据。
高吞吐量，有弹性- 它允许实时收集和分析股票交易价格等信息，否则我们需要等待数据输出报告。
与其他 Amazon 服务集成- 它可以与 Amazon Redshift、Amazon S3 和 Amazon DynamoDB 集成。
构建 kinesis 应用程序- Amazon Kinesis 为开发人员提供客户端库，支持实时数据处理应用程序的设计和操作。将 Amazon Kinesis 客户端库添加到 Java 应用程序，它将在有新数据可供处理时发出通知。
经济高效- Amazon Kinesis 对于任何规模的工作负载都具有成本效益。按使用资源付费，按所需吞吐量按小时付费。