Sqoop - 快速指南

Sqoop - 简介

传统的应用管理系统，即应用程序与关系数据库使用RDBMS进行交互，是产生大数据的来源之一。这些由 RDBMS 生成的大数据以关系数据库结构存储在关系数据库服务器中。

当 Hadoop 生态系统的 MapReduce、Hive、HBase、Cassandra、Pig 等大数据存储和分析器出现时，他们需要一种工具来与关系数据库服务器交互，以导入和导出驻留在其中的大数据。在这里，Sqoop在Hadoop生态系统中占有一席之地，为关系数据库服务器和Hadoop的HDFS之间提供可行的交互。

Sqoop - “SQL 到 Hadoop 和 Hadoop 到 SQL”

Sqoop 是一个设计用于在 Hadoop 和关系数据库服务器之间传输数据的工具。用于将数据从MySQL、Oracle等关系型数据库导入到Hadoop HDFS，以及从Hadoop文件系统导出到关系型数据库。它由 Apache 软件基金会提供。

Sqoop 是如何工作的？

下图描述了Sqoop的工作流程。

勺子工作

Sqoop导入

导入工具将单个表从 RDBMS 导入到 HDFS。表中的每一行都被视为 HDFS 中的一条记录。所有记录都以文本数据形式存储在文本文件中，或以二进制数据形式存储在 Avro 和序列文件中。

斯库普出口

导出工具将一组文件从 HDFS 导出回 RDBMS。作为 Sqoop 输入的文件包含记录，这些记录在表中称为行。这些被读取并解析为一组记录，并使用用户指定的分隔符进行分隔。

Sqoop - 安装

由于Sqoop是Hadoop的子项目，因此它只能运行在Linux操作系统上。按照下面给出的步骤在您的系统上安装 Sqoop。

第1步：验证JAVA安装

在安装 Sqoop 之前，您需要在系统上安装 Java。让我们使用以下命令验证 Java 安装 -

$ java –version

如果您的系统上已经安装了 Java，您将看到以下响应 -

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统上未安装 Java，请按照以下步骤操作。

安装Java

请按照下面给出的简单步骤在您的系统上安装 Java。

步骤1

通过访问以下链接下载 Java（JDK <最新版本> - X64.tar.gz） 。

然后 jdk-7u71-linux-x64.tar.gz 将下载到您的系统上。

第2步

通常，您可以在 Downloads 文件夹中找到下载的 Java 文件。验证它并使用以下命令提取 jdk-7u71-linux-x64.gz 文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

步骤3

要使 Java 对所有用户可用，您必须将其移动到位置“/usr/local/”。打开 root，然后键入以下命令。

$ su
password:

# mv jdk1.7.0_71 /usr/local/java
# exitStep IV:

步骤4

要设置 PATH 和 JAVA_HOME 变量，请将以下命令添加到 ~/.bashrc 文件中。

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

现在将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

步骤5

使用以下命令配置 Java 替代方案 -

# alternatives --install /usr/bin/java java usr/local/java/bin/java 2
# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2
# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2

# alternatives --set java usr/local/java/bin/java
# alternatives --set javac usr/local/java/bin/javac
# alternatives --set jar usr/local/java/bin/jar

现在，如上所述，从终端使用命令java -version验证安装。

步骤 2：验证 Hadoop 安装

在安装 Sqoop 之前，必须在系统上安装 Hadoop。让我们使用以下命令验证 Hadoop 安装 -

$ hadoop version

如果 Hadoop 已经安装在您的系统上，那么您将得到以下响应 -

Hadoop 2.4.1
--
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4

如果您的系统上未安装 Hadoop，请继续执行以下步骤 -

下载Hadoop

使用以下命令从 Apache Software Foundation 下载并解压 Hadoop 2.4.1。

$ su
password:

# cd /usr/local
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit

伪分布式安装Hadoop

按照下面给出的步骤以伪分布式模式安装 Hadoop 2.4.1。

第 1 步：设置 Hadoop

您可以通过将以下命令附加到 ~/.bashrc 文件来设置 Hadoop 环境变量。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

现在，将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

第2步：Hadoop配置

您可以在“$HADOOP_HOME/etc/hadoop”位置找到所有 Hadoop 配置文件。您需要根据您的 Hadoop 基础设施对这些配置文件进行适当的更改。

$ cd $HADOOP_HOME/etc/hadoop

为了使用 java 开发 Hadoop 程序，您必须通过将 JAVA_HOME 值替换为系统中 java 的位置来重置hadoop-env.sh文件中的 java 环境变量。

export JAVA_HOME=/usr/local/java

下面给出了配置 Hadoop 需要编辑的文件列表。

核心站点.xml

core-site.xml 文件包含 Hadoop 实例使用的端口号、为文件系统分配的内存、存储数据的内存限制以及读/写缓冲区的大小等信息。

打开 core-site.xml 并在 <configuration> 和 </configuration> 标记之间添加以下属性。

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost:9000 </value>
   </property>
</configuration>

hdfs-site.xml

hdfs-site.xml 文件包含本地文件系统的复制数据值、namenode 路径和 datanode 路径等信息。它意味着您要存储 Hadoop 基础设施的地方。

让我们假设以下数据。

dfs.replication (data replication value) = 1

(In the following path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件并在此文件的 <configuration>、</configuration> 标记之间添加以下属性。

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
   </property>
   
   <property>
      <name>dfs.data.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value>
   </property>
</configuration>

注意- 在上面的文件中，所有属性值都是用户定义的，您可以根据您的 Hadoop 基础设施进行更改。

纱线站点.xml

该文件用于将yarn配置到Hadoop中。打开yarn-site.xml 文件并在此文件的 <configuration>、</configuration> 标记之间添加以下属性。

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
</configuration>

mapred-site.xml

该文件用于指定我们正在使用哪个 MapReduce 框架。默认情况下，Hadoop包含一个yarn-site.xml模板。首先，您需要使用以下命令将文件从mapred-site.xml.template复制到mapred-site.xml文件。

$ cp mapred-site.xml.template mapred-site.xml

打开 mapred-site.xml 文件并在此文件的 <configuration>、</configuration> 标记之间添加以下属性。

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

验证 Hadoop 安装

以下步骤用于验证 Hadoop 安装。

第 1 步：名称节点设置

使用命令“hdfs namenode -format”设置 namenode，如下所示。

$ cd ~
$ hdfs namenode -format

预期结果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

第2步：验证Hadoop dfs

以下命令用于启动 dfs。执行此命令将启动您的 Hadoop 文件系统。

$ start-dfs.sh

预期输出如下 -

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

第 3 步：验证 Yarn 脚本

以下命令用于启动yarn脚本。执行此命令将启动您的纱线守护进程。

$ start-yarn.sh

预期输出如下 -

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting node manager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

第四步：在浏览器上访问Hadoop

访问 Hadoop 的默认端口号为 50070。使用以下 URL 在浏览器上获取 Hadoop 服务。

http://localhost:50070/

下图描绘了 Hadoop 浏览器。

在浏览器上访问 Hadoop

步骤 5：验证集群的所有应用程序

访问集群所有应用程序的默认端口号是8088。使用以下url访问该服务。

http://localhost:8088/

下图描述了 Hadoop 集群浏览器。

Hadoop应用集群

第三步：下载Sqoop

我们可以从以下链接下载最新版本的 Sqoop在本教程中，我们使用版本 1.4.5，即sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz。

第四步：安装Sqoop

以下命令用于提取 Sqoop tar 包并将其移动到“/usr/lib/sqoop”目录。

$tar -xvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
$ su
password:

# mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha /usr/lib/sqoop
#exit

第5步：配置bashrc

您必须通过将以下行附加到 ~/ .bashrc文件来设置 Sqoop 环境 -

#Sqoop
export SQOOP_HOME=/usr/lib/sqoop export PATH=$PATH:$SQOOP_HOME/bin

以下命令用于执行~/ .bashrc文件。

$ source ~/.bashrc

第6步：配置Sqoop

要使用 Hadoop 配置 Sqoop，您需要编辑sqoop-env.sh文件，该文件位于$SQOOP_HOME/conf目录中。首先，重定向到 Sqoop 配置目录并使用以下命令复制模板文件 -

$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh

打开sqoop-env.sh并编辑以下行 -

export HADOOP_COMMON_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=/usr/local/hadoop

第7步：下载并配置mysql-connector-java

我们可以从以下链接下载mysql-connector-java-5.1.30.tar.gz文件。

以下命令用于提取 mysql-connector-java tarball 并将mysql-connector-java-5.1.30-bin.jar移动到 /usr/lib/sqoop/lib 目录。

$ tar -zxf mysql-connector-java-5.1.30.tar.gz
$ su
password:

# cd mysql-connector-java-5.1.30
# mv mysql-connector-java-5.1.30-bin.jar /usr/lib/sqoop/lib

第8步：验证Sqoop

以下命令用于验证 Sqoop 版本。

$ cd $SQOOP_HOME/bin
$ sqoop-version

预期输出 -

14/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5
Sqoop 1.4.5 git commit id 5b34accaca7de251fc91161733f906af2eddbe83
Compiled by abe on Fri Aug 1 11:19:26 PDT 2014

Sqoop安装完成。

Sqoop - 导入

本章介绍如何将MySQL数据库的数据导入到Hadoop HDFS。“导入工具”将单个表从 RDBMS 导入到 HDFS。表中的每一行都被视为 HDFS 中的一条记录。所有记录都以文本数据形式存储在文本文件中，或者以二进制数据形式存储在 Avro 和序列文件中。

句法

以下语法用于将数据导入 HDFS。

$ sqoop import (generic-args) (import-args) 
$ sqoop-import (generic-args) (import-args)

例子

让我们以名为emp、emp_add和emp_contact的三个表为例，它们位于 MySQL 数据库服务器中名为 userdb 的数据库中。

这三个表及其数据如下。

雇员：

ID 姓名 度 薪水 部门
1201 戈帕尔 经理 50,000 TP
1202 马尼沙 校对读者 50,000 TP
1203 卡里尔 PHP开发 30,000 交流电
1204 普拉桑特 PHP开发 30,000 交流电
1204 克兰蒂 行政 20,000 TP

雇员添加：

ID 水 街道 城市
1201 288A 维吉里 银禧
1202 108I 奥克 秒坏
1203 144Z 普古塔 氢
1204 78B 古老的都市 秒坏
1205 720X 海泰克 秒坏

员工联系方式：

ID PHNO 电子邮件
1201 2356742 gopal@tp.com
1202 1661663 manisha@tp.com
1203 8887776 khalil@ac.com
1204 9988774 prasanth@ac.com
1205 1231231 kranthi@tp.com

导入表

Sqoop工具“import”用于将表数据以文本文件或二进制文件的形式导入到Hadoop文件系统中。

以下命令用于将emp表从 MySQL 数据库服务器导入到 HDFS。

$ sqoop import \
--connect jdbc:mysql://localhost/userdb \
--username root \
--table emp --m 1

如果执行成功，您将得到以下输出。

14/12/22 15:24:54 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5
14/12/22 15:24:56 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
14/12/22 15:24:56 INFO tool.CodeGenTool: Beginning code generation
14/12/22 15:24:58 INFO manager.SqlManager: Executing SQL statement: 
   SELECT t.* FROM `emp` AS t LIMIT 1
14/12/22 15:24:58 INFO manager.SqlManager: Executing SQL statement: 
   SELECT t.* FROM `emp` AS t LIMIT 1
14/12/22 15:24:58 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/local/hadoop
14/12/22 15:25:11 INFO orm.CompilationManager: Writing jar file: 
   /tmp/sqoop-hadoop/compile/cebe706d23ebb1fd99c1f063ad51ebd7/emp.jar
-----------------------------------------------------
-----------------------------------------------------
14/12/22 15:25:40 INFO mapreduce.Job: The url to track the job: 
   http://localhost:8088/proxy/application_1419242001831_0001/
14/12/22 15:26:45 INFO mapreduce.Job: Job job_1419242001831_0001 running in uber mode : 
   false
14/12/22 15:26:45 INFO mapreduce.Job: map 0% reduce 0%
14/12/22 15:28:08 INFO mapreduce.Job: map 100% reduce 0%
14/12/22 15:28:16 INFO mapreduce.Job: Job job_1419242001831_0001 completed successfully
-----------------------------------------------------
-----------------------------------------------------
14/12/22 15:28:17 INFO mapreduce.ImportJobBase: Transferred 145 bytes in 177.5849 seconds 
   (0.8165 bytes/sec)
14/12/22 15:28:17 INFO mapreduce.ImportJobBase: Retrieved 5 records.

要验证 HDFS 中导入的数据，请使用以下命令。

$ $HADOOP_HOME/bin/hadoop fs -cat /emp/part-m-*

它显示了emp表的数据和字段，并用逗号 (,) 分隔。

1201, gopal,    manager, 50000, TP
1202, manisha,  preader, 50000, TP
1203, kalil,    php dev, 30000, AC
1204, prasanth, php dev, 30000, AC
1205, kranthi,  admin,   20000, TP

导入到目标目录

我们可以在使用Sqoop导入工具将表数据导入HDFS时指定目标目录。

以下是将目标目录指定为 Sqoop 导入命令选项的语法。

--target-dir <new or exist directory in HDFS>

以下命令用于将emp_add表数据导入到“/queryresult”目录中。

$ sqoop import \
--connect jdbc:mysql://localhost/userdb \
--username root \
--table emp_add \
--m 1 \
--target-dir /queryresult

以下命令用于验证 /queryresult 目录中从emp_add表导入的数据。

$ $HADOOP_HOME/bin/hadoop fs -cat /queryresult/part-m-*

它将显示 emp_add 表数据，其中包含逗号 (,) 分隔的字段。

1201, 288A, vgiri,   jublee
1202, 108I, aoc,     sec-bad
1203, 144Z, pgutta,  hyd
1204, 78B,  oldcity, sec-bad
1205, 720C, hitech,  sec-bad

导入表数据的子集

我们可以使用 Sqoop 导入工具中的“where”子句导入表的子集。它在各自的数据库服务器中执行相应的SQL查询并将结果存储在HDFS中的目标目录中。

where 子句的语法如下。

--where <condition>

以下命令用于导入emp_add表数据的子集。子集查询用于检索居住在 Secunderabad 市的员工 ID 和地址。

$ sqoop import \
--connect jdbc:mysql://localhost/userdb \
--username root \
--table emp_add \
--m 1 \
--where “city =’sec-bad’” \
--target-dir /wherequery

以下命令用于验证 /wherequery 目录中从emp_add表导入的数据。

$ $HADOOP_HOME/bin/hadoop fs -cat /wherequery/part-m-*

它将显示emp_add表数据，其中包含逗号 (,) 分隔的字段。

1202, 108I, aoc,     sec-bad
1204, 78B,  oldcity, sec-bad
1205, 720C, hitech,  sec-bad

增量导入

增量导入是一种仅导入表中新添加的行的技术。需要添加“incremental”、“check-column”和“last-value”选项来执行增量导入。

以下语法用于 Sqoop import 命令中的增量选项。

--incremental <mode>
--check-column <column name>
--last value <last check column value>

让我们假设新添加到emp表中的数据如下 -

1206, satish p, grp des, 20000, GR

以下命令用于在emp表中执行增量导入。

$ sqoop import \
--connect jdbc:mysql://localhost/userdb \
--username root \
--table emp \
--m 1 \
--incremental append \
--check-column id \
-last value 1205

以下命令用于验证从emp表导入到 HDFS emp/ 目录的数据。

$ $HADOOP_HOME/bin/hadoop fs -cat /emp/part-m-*

它显示了emp表数据，并用逗号 (,) 分隔字段。

1201, gopal,    manager, 50000, TP
1202, manisha,  preader, 50000, TP
1203, kalil,    php dev, 30000, AC
1204, prasanth, php dev, 30000, AC
1205, kranthi,  admin,   20000, TP
1206, satish p, grp des, 20000, GR

以下命令用于查看emp表中修改或新添加的行。

$ $HADOOP_HOME/bin/hadoop fs -cat /emp/part-m-*1

它显示了emp表中新添加的行，并用逗号 (,) 分隔字段。

1206, satish p, grp des, 20000, GR

Sqoop - 导入所有表

本章介绍如何将RDBMS数据库服务器上的所有表导入到HDFS中。每个表数据都存储在单独的目录中，目录名与表名相同。

句法

以下语法用于导入所有表。

$ sqoop import-all-tables (generic-args) (import-args) 
$ sqoop-import-all-tables (generic-args) (import-args)

例子

让我们以从userdb数据库导入所有表为例。数据库userdb包含的表列表如下。

 +--------------------+
 |      Tables        |
 +--------------------+
 |      emp           |
 |      emp_add       |
 |      emp_contact   |
 +--------------------+

以下命令用于从userdb数据库导入所有表。

$ sqoop import-all-tables \
--connect jdbc:mysql://localhost/userdb \
--username root

注意- 如果您使用导入所有表，则该数据库中的每个表都必须具有主键字段。

以下命令用于验证HDFS中userdb数据库的所有表数据。

$ $HADOOP_HOME/bin/hadoop fs -ls

它将以目录形式显示 userdb 数据库中的表名列表。

输出

drwxr-xr-x - hadoop supergroup 0 2014-12-22 22:50 _sqoop
drwxr-xr-x - hadoop supergroup 0 2014-12-23 01:46 emp
drwxr-xr-x - hadoop supergroup 0 2014-12-23 01:50 emp_add
drwxr-xr-x - hadoop supergroup 0 2014-12-23 01:52 emp_contact

Sqoop - 导出

本章介绍如何将数据从 HDFS 导出回 RDBMS 数据库。目标表必须存在于目标数据库中。作为 Sqoop 输入的文件包含记录，这些记录称为表中的行。这些被读取并解析为一组记录，并使用用户指定的分隔符进行分隔。

默认操作是使用 INSERT 语句将输入文件中的所有记录插入到数据库表中。在更新模式下，Sqoop 生成 UPDATE 语句，将现有记录替换到数据库中。

句法

以下是导出命令的语法。

$ sqoop export (generic-args) (export-args) 
$ sqoop-export (generic-args) (export-args)

例子

让我们以 HDFS 文件中的员工数据为例。员工数据位于HDFS 'emp/' 目录中的emp_data文件中。emp_data如下。

1201, gopal,     manager, 50000, TP
1202, manisha,   preader, 50000, TP
1203, kalil,     php dev, 30000, AC
1204, prasanth,  php dev, 30000, AC
1205, kranthi,   admin,   20000, TP
1206, satish p,  grp des, 20000, GR

必须手动创建要导出的表，并且该表必须存在于必须导出的数据库中。

以下查询用于在 mysql 命令行中创建表“employee”。

$ mysql
mysql> USE db;
mysql> CREATE TABLE employee ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT,
   dept VARCHAR(10));

以下命令用于将表数据（HDFS上的emp_data文件）导出到Mysql数据库服务器的db数据库中的employee表。

$ sqoop export \
--connect jdbc:mysql://localhost/db \
--username root \
--table employee \ 
--export-dir /emp/emp_data

以下命令用于在 mysql 命令行中验证表。

mysql>select * from employee;

如果给定的数据存储成功，那么您可以找到下表给定的员工数据。

+------+--------------+-------------+-------------------+--------+
| Id   | Name         | Designation | Salary            | Dept   |
+------+--------------+-------------+-------------------+--------+
| 1201 | gopal        | manager     | 50000             | TP     |
| 1202 | manisha      | preader     | 50000             | TP     |
| 1203 | kalil        | php dev     | 30000             | AC     |
| 1204 | prasanth     | php dev     | 30000             | AC     |
| 1205 | kranthi      | admin       | 20000             | TP     |
| 1206 | satish p     | grp des     | 20000             | GR     |
+------+--------------+-------------+-------------------+--------+

Sqoop - 工作

本章介绍如何创建和维护 Sqoop 作业。Sqoop 作业创建并保存导入和导出命令。它指定用于识别和调用已保存作业的参数。这种重新调用或重新执行用于增量导入，可以将更新的行从 RDBMS 表导入到 HDFS。

句法

以下是创建 Sqoop 作业的语法。

$ sqoop job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

$ sqoop-job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

创建工作（--create）

这里我们创建一个名为myjob的作业，它可以将 RDBMS 表中的表数据导入到 HDFS 中。以下命令用于创建一个作业，将数据从db数据库中的employee表导入到HDFS文件中。

$ sqoop job --create myjob \
-- import \
--connect jdbc:mysql://localhost/db \
--username root \
--table employee --m 1

验证作业（--list）

'--list'参数用于验证保存的作业。以下命令用于验证保存的 Sqoop 作业列表。

$ sqoop job --list

它显示已保存作业的列表。

Available jobs: 
   myjob

检查工作（--show）

'--show'参数用于检查或验证特定作业及其详细信息。以下命令和示例输出用于验证名为myjob的作业。

$ sqoop job --show myjob

它显示了myjob中使用的工具及其选项。

Job: myjob 
 Tool: import Options:
 ---------------------------- 
 direct.import = true
 codegen.input.delimiters.record = 0
 hdfs.append.dir = false 
 db.table = employee
 ...
 incremental.last.value = 1206
 ...

执行作业 (--exec)

'--exec'选项用于执行保存的作业。以下命令用于执行名为myjob的已保存作业。

$ sqoop job --exec myjob

它向您显示以下输出。

10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation 
...

Sqoop - 代码生成器

本章描述了“codegen”工具的重要性。从面向对象应用程序的角度来看，每个数据库表都有一个 DAO 类，该类包含用于初始化对象的“getter”和“setter”方法。该工具（-codegen）自动生成 DAO 类。

它基于Table Schema 结构在Java 中生成DAO 类。Java 定义作为导入过程的一部分进行实例化。该工具的主要用途是检查Java是否丢失了Java代码。如果是这样，它将创建一个新版本的 Java，并在字段之间使用默认分隔符。

句法

以下是 Sqoop codegen 命令的语法。

$ sqoop codegen (generic-args) (codegen-args) 
$ sqoop-codegen (generic-args) (codegen-args)

例子

让我们举一个为userdb数据库中的emp表生成 Java 代码的示例。

以下命令用于执行给定的示例。

$ sqoop codegen \
--connect jdbc:mysql://localhost/userdb \
--username root \ 
--table emp

如果命令成功执行，那么它将在终端上产生以下输出。

14/12/23 02:34:40 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5
14/12/23 02:34:41 INFO tool.CodeGenTool: Beginning code generation
……………….
14/12/23 02:34:42 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/local/hadoop
Note: /tmp/sqoop-hadoop/compile/9a300a1f94899df4a9b10f9935ed9f91/emp.java uses or 
   overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.

14/12/23 02:34:47 INFO orm.CompilationManager: Writing jar file: 
   /tmp/sqoop-hadoop/compile/9a300a1f94899df4a9b10f9935ed9f91/emp.jar

确认

让我们看一下输出。粗体路径是emp表的Java代码生成并存储的位置。让我们使用以下命令验证该位置中的文件。

$ cd /tmp/sqoop-hadoop/compile/9a300a1f94899df4a9b10f9935ed9f91/
$ ls
emp.class
emp.jar
emp.java

如果想深入验证，可以对比userdb数据库中的emp表和以下目录下的emp.java

/tmp/sqoop-hadoop/编译/9a300a1f94899df4a9b10f9935ed9f91/。

Sqoop - 评估

本章介绍如何使用 Sqoop“eval”工具。它允许用户对各自的数据库服务器执行用户定义的查询并在控制台中预览结果。因此，用户可以期望导入结果表数据。使用 eval，我们可以评估任何类型的 SQL 查询，可以是 DDL 或 DML 语句。

句法

以下语法用于 Sqoop eval 命令。

$ sqoop eval (generic-args) (eval-args) 
$ sqoop-eval (generic-args) (eval-args)

选择查询评估

使用 eval 工具，我们可以评估任何类型的 SQL 查询。让我们以在db数据库的employee表中选择有限Behave例。以下命令用于使用 SQL 查询评估给定的示例。

$ sqoop eval \
--connect jdbc:mysql://localhost/db \
--username root \ 
--query “SELECT * FROM employee LIMIT 3”

如果命令成功执行，那么它将在终端上产生以下输出。

+------+--------------+-------------+-------------------+--------+
| Id   | Name         | Designation | Salary            | Dept   |
+------+--------------+-------------+-------------------+--------+
| 1201 | gopal        | manager     | 50000             | TP     |
| 1202 | manisha      | preader     | 50000             | TP     |
| 1203 | khalil       | php dev     | 30000             | AC     |
+------+--------------+-------------+-------------------+--------+

插入查询评估

Sqoop eval 工具可用于建模和定义 SQL 语句。这意味着，我们也可以将 eval 用于 insert 语句。以下命令用于在db数据库的员工表中插入新行。

$ sqoop eval \
--connect jdbc:mysql://localhost/db \
--username root \ 
-e “INSERT INTO employee VALUES(1207,‘Raju’,‘UI dev’,15000,‘TP’)”

如果命令成功执行，那么它将在控制台上显示更新行的状态。

或者，您可以在 MySQL 控制台上验证员工表。以下命令用于使用 select 查询来验证db数据库的员工表的行。

mysql>
mysql> use db;
mysql> SELECT * FROM employee;
+------+--------------+-------------+-------------------+--------+
| Id   | Name         | Designation | Salary            | Dept   |
+------+--------------+-------------+-------------------+--------+
| 1201 | gopal        | manager     | 50000             | TP     |
| 1202 | manisha      | preader     | 50000             | TP     |
| 1203 | khalil       | php dev     | 30000             | AC     |
| 1204 | prasanth     | php dev     | 30000             | AC     |
| 1205 | kranthi      | admin       | 20000             | TP     |
| 1206 | satish p     | grp des     | 20000             | GR     |
| 1207 | Raju         | UI dev      | 15000             | TP     |
+------+--------------+-------------+-------------------+--------+

Sqoop - 列出数据库

本章介绍如何使用 Sqoop 列出数据库。Sqoop list-databases 工具解析并针对数据库服务器执行“SHOW DATABASES”查询。此后，它列出服务器上现有的数据库。

句法

以下语法用于 Sqoop list-databases 命令。

$ sqoop list-databases (generic-args) (list-databases-args) 
$ sqoop-list-databases (generic-args) (list-databases-args)

示例查询

以下命令用于列出MySQL数据库服务器中的所有数据库。

$ sqoop list-databases \
--connect jdbc:mysql://localhost/ \
--username root

如果命令执行成功，则会显示 MySQL 数据库服务器中的数据库列表，如下所示。

...
13/05/31 16:45:58 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

mysql
test
userdb
db

本章介绍如何使用Sqoop列出MySQL数据库服务器中特定数据库的表。Sqoop list-tables 工具针对特定数据库解析并执行“S​​HOW TABLES”查询。此后，它列出数据库中现有的表。

句法

以下语法用于 Sqoop list-tables 命令。

$ sqoop list-tables (generic-args) (list-tables-args) 
$ sqoop-list-tables (generic-args) (list-tables-args)

示例查询

以下命令用于列出MySQL数据库服务器的userdb数据库中的所有表。

$ sqoop list-tables \
--connect jdbc:mysql://localhost/userdb \
--username root

如果命令执行成功，则会显示userdb数据库中的表列表，如下所示。

...
13/05/31 16:45:58 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

emp
emp_add
emp_contact

Sqoop - 列表表

本章介绍如何使用Sqoop列出MySQL数据库服务器中特定数据库的表。Sqoop list-tables 工具针对特定数据库解析并执行“S​​HOW TABLES”查询。此后，它列出数据库中现有的表。

句法

以下语法用于 Sqoop list-tables 命令。

$ sqoop list-tables (generic-args) (list-tables-args) 
$ sqoop-list-tables (generic-args) (list-tables-args)

示例查询

以下命令用于列出MySQL数据库服务器的userdb数据库中的所有表。

$ sqoop list-tables \
--connect jdbc:mysql://localhost/userdb \
--username root

如果命令执行成功，则会显示userdb数据库中的表列表，如下所示。

...
13/05/31 16:45:58 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.

emp
emp_add
emp_contact