Logstash - 插件

---

Logstash 为其管道的所有三个阶段（输入、过滤器和输出）提供各种插件。这些插件帮助用户从各种来源捕获日志，例如 Web 服务器、数据库、网络协议等。

捕获后，Logstash可以根据用户的需要解析数据并将其转换为有意义的信息。最后，Logstash 可以将有意义的信息发送或存储到各种目标源，例如 Elasticsearch、AWS Cloudwatch 等。

输入插件

Logstash 中的输入插件可帮助用户从各种来源提取和接收日志。使用输入插件的语法如下 -

Input {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载输入插件 -

>Logstash-plugin install Logstash-input-<plugin name>

Logstash-plugin 实用程序位于Logstash 安装目录的bin 文件夹中。下表列出了 Logstash 提供的输入插件。

插件设置

所有插件都有其特定的设置，这有助于指定插件中的重要字段，如端口、路径等。我们将讨论一些输入插件的设置。

文件

该输入插件用于直接从输入源中存在的日志或文本文件中提取事件。它的工作方式类似于 UNIX 中的 tail 命令，保存最后读取的光标并仅从输入文件中读取新附加的数据，但可以通过使用 star_position 设置来更改。以下是该输入插件的设置。

弹性搜索

这个特定的插件用于读取 Elasticsearch 集群中的搜索查询结果。以下是该插件中使用的设置 -

事件日志

该输入插件从 Windows 服务器的 win32 API 读取数据。以下是该插件的设置 -

推特

该输入插件用于从 Streaming API 收集 Twitter 的提要。下表描述了该插件的设置。

传输控制协议

TCP 用于通过 TCP 套接字获取事件；它可以从模式设置中指定的用户连接或服务器读取。下表描述了该插件的设置 -

Logstash – 输出插件

Logstash 支持各种输出源和不同的技术，如数据库、文件、电子邮件、标准输出等。

使用输出插件的语法如下 -

output {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载输出插件 -

>logstash-plugin install logstash-output-<plugin name>

Logstash -plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表描述了 Logstash 提供的输出插件。

所有插件都有其特定的设置，这有助于指定插件中的重要字段，如端口、路径等。我们将讨论一些输出插件的设置。

弹性搜索

Elasticsearch 输出插件使 Logstash 能够将输出存储在 Elasticsearch 引擎的特定集群中。这是用户著名的选择之一，因为它包含在 ELK Stack 中，因此为 DevOps 提供了端到端的解决方案。下表描述了此输出插件的设置。

电子邮件

电子邮件输出插件用于在 Logstash 生成输出时通知用户。下表描述了该插件的设置。

HTTP

此设置用于通过 http 将输出事件发送到目标。该插件有以下设置 -

标准输出

stdout 输出插件用于将输出事件写入命令行界面的标准输出。Windows 中是命令提示符，UNIX 中是终端。该插件具有以下设置 -

统计数据

它是一个网络守护程序，用于通过 UDP 将矩阵数据发送到目标后端服务。Windows 中是命令提示符，UNIX 中是终端。该插件有以下设置 -

过滤器插件

Logstash 支持各种过滤器插件来解析输入日志并将其转换为更结构化且易于查询的格式。

使用过滤器插件的语法如下 -

filter {
   Plugin name {
      Setting 1……
      Setting 2……..
   }
}

您可以使用以下命令下载过滤器插件 -

>logstash-plugin install logstash-filter-<plugin name>

Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表描述了 Logstash 提供的输出插件。

编解码器插件

编解码器插件可以是输入或输出插件的一部分。这些插件用于更改或格式化日志记录数据的表示形式。Logstash 提供了多个编解码器插件，如下所示 -

构建您自己的插件

您还可以在 Logstash 中创建自己的插件，以满足您的要求。Logstash-plugin 实用程序用于创建自定义插件。在这里，我们将创建一个过滤器插件，它将在事件中添加自定义消息。

生成基础结构

用户可以使用logstash-plugin实用程序的生成选项生成必要的文件，也可以在GitHub上获取它。

>logstash-plugin generate --type filter --name myfilter --path c:/tpwork/logstash/lib

这里，type选项用于指定插件是输入、输出还是过滤器。在此示例中，我们将创建一个名为myfilter的过滤器插件。path 选项用于指定要在其中创建插件目录的路径。执行上述命令后，您将看到创建了一个目录结构。

开发插件

您可以在插件目录的\lib\logstash\filters文件夹中找到插件的代码文件。文件扩展名为.rb。

在我们的例子中，代码文件位于以下路径内 -

C:\tpwork\logstash\lib\logstash-filter-myfilter\lib\logstash\filters\myfilter.rb

我们将消息更改为 - 默认⇒“嗨，您正在tutorialspoint.com 上学习此内容”并保存文件。

安装插件

要安装此插件，需要修改Logstash的Gemfile。您可以在Logstash的安装目录中找到该文件。在我们的例子中，它将位于C:\tpwork\logstash中。使用任何文本编辑器编辑此文件并在其中添加以下文本。

gem "logstash-filter-myfilter",:path => "C:/tpwork/logstash/lib/logstash-filter-myfilter"

在上面的命令中，我们指定插件的名称以及可以找到它进行安装的位置。然后，运行 Logstash-plugin 实用程序来安装此插件。

>logstash-plugin install --no-verify

测试

在这里，我们在前面的示例之一中添加myfilter -

Logstash.conf

此 Logstash 配置文件在 grok 过滤器插件后面的过滤器部分包含 myfilter。

input {
   file {
      path => "C:/tpwork/logstash/bin/log/input1.log"
   } 
}
filter {
   grok {
      match => [
         "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} -
            %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" ]
   }
   myfilter{}
}
output {
   file {
      path => "C:/tpwork/logstash/bin/log/output1.log"
      codec => rubydebug
   }
}

运行logstash

我们可以使用以下命令来运行 Logstash。

>logstash –f logsatsh.conf

输入日志

以下代码块显示输入日志数据。

INFO - 48566 - TRANSACTION_START - start

输出.log

以下代码块显示了输出日志数据。

{
   "path" => "C:/tpwork/logstash/bin/log/input.log",
   "@timestamp" => 2017-01-07T06:25:25.484Z,
   "loglevel" => "INFO",
   "logger" => "TRANSACTION_END",
   "@version" => "1",
   "host" => "Dell-PC",
   "label" => "end",
   "message" => "Hi, You are learning this on tutorialspoint.com",
   "taskid" => "48566",
   "tags" => []
}

将其发布到 Logstash 上

开发人员还可以将他/她的自定义插件上传到 github 并遵循 Elasticsearch 公司定义的标准化步骤，将其发布到 Logstash。

有关发布的更多信息，请参阅以下 URL -

https://www.elastic.co/guide/en/logstash/current/contributing-to-logstash.html