Apache Flume - 环境

我们在前面的章节中已经讨论了 Flume 的架构。在本章中，让我们看看如何下载和设置 Apache Flume。

在继续之前，您的系统中需要有一个 Java 环境。因此，首先，请确保您的系统中安装了 Java。对于本教程中的一些示例，我们使用了 Hadoop HDFS（作为接收器）。因此，我们建议您安装 Hadoop 和 Java。要收集更多信息，请点击链接 - https://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm

安装 Flume

首先，从网站https://flume.apache.org/下载最新版本的 Apache Flume 软件。

步骤1

打开网站。单击主页左侧的下载链接。它将带您进入 Apache Flume 的下载页面。

安装 Flume

第2步

在下载页面中，您可以看到 Apache Flume 的二进制文件和源文件的链接。单击链接apache-flume-1.6.0-bin.tar.gz

您将被重定向到镜像列表，您可以通过单击其中任意镜像来开始下载。同样，您可以通过点击apache-flume-1.6.0-src.tar.gz下载 Apache Flume 的源代码。

步骤3

在安装Hadoop、HBase和其他软件（如果已经安装）的安装目录同一目录中创建一个名为 Flume 的目录，如下所示。

$ mkdir Flume

步骤4

解压缩下载的 tar 文件，如下所示。

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

步骤5

将 apache- flume-1.6.0-bin.tar文件的内容移至之前创建的Flume目录，如下所示。（假设我们已经在名为Hadoop的本地用户中创建了Flume目录。）

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

配置 Flume

要配置 Flume，我们必须修改三个文件，即Flume-env.sh、flumeconf.properties和bash.rc。

设置路径/类路径

在.bashrc文件中，设置 Flume 的主文件夹、路径和类路径，如下所示。

设置路径

conf文件夹

如果打开Apache Flume 的conf文件夹，您将有以下四个文件 -

  • Flume-conf.properties.template，
  • Flume-env.sh.模板，
  • Flume-env.ps1.template，和
  • log4j.properties。
conf文件夹

现在重命名

  • Flume-conf.properties.template文件作为Flume-conf.properties和

  • Flume-env.sh.template为Flume-env.sh

Flume-env.sh

打开flume-env.sh文件并将JAVA_Home设置为系统中安装Java 的文件夹。

Flume-env.sh

验证安装

通过浏览bin文件夹并键入以下命令来验证 Apache Flume 的安装。

$ ./flume-ng

如果您已经成功安装Flume，您将得到如下所示的Flume帮助提示。

验证安装