Hadoop - 命令参考


“$HADOOP_HOME/bin/hadoop fs”中的命令比此处演示的命令多得多,尽管这些基本操作将帮助您入门。不带任何其他参数运行 ./bin/hadoop dfs 将列出可与 FsShell 系统一起运行的所有命令。此外,如果您遇到困难,$HADOOP_HOME/bin/hadoop fs -help commandName 将显示相关操作的简短使用摘要。

所有操作的表格如下所示。以下约定用于参数 -

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system. 

所有其他文件和路径名均指 HDFS 内的对象。

先生编号 命令与说明
1

-ls <路径>

列出路径指定的目录的内容,显示每个条目的名称、权限、所有者、大小和修改日期。

2

-lsr <路径>

Behave类似于 -ls,但递归显示路径的所有子目录中的条目。

3

-du <路径>

显示与路径匹配的所有文件的磁盘使用情况(以字节为单位);文件名以完整的 HDFS 协议前缀报告。

4

-dus <路径>

与 -du 类似,但打印路径中所有文件/目录的磁盘使用情况摘要。

5

-mv <源><目标>

将 src 指示的文件或目录移动到 HDFS 中的 dest。

6

-cp <源> <目标>

将 src 标识的文件或目录复制到 HDFS 中的 dest。

7

-rm <路径>

删除由路径标识的文件或空目录。

8

-rmr <路径>

删除由路径标识的文件或目录。递归删除任何子条目(即路径的文件或子目录)。

9

-put <本地源> <目标>

将文件或目录从 localSrc 标识的本地文件系统复制到 DFS 中的 dest。

10

-copyFromLocal <本地源> <目标>

相同的放置

11

-moveFromLocal <本地源> <目标>

将文件或目录从 localSrc 标识的本地文件系统复制到 HDFS 中的 dest,然后在成功时删除本地副本。

12

-get [-crc] <源> <本地目标>

将HDFS中src标识的文件或目录复制到localDest标识的本地文件系统路径。

13

-getmerge <源> <本地目标>

检索与 HDFS 中的路径 src 匹配的所有文件,并将它们复制到由 localDest 标识的本地文件系统中的单个合并文件。

14

-cat <文件名>

在标准输出上显示文件名的内容。

15

-copyToLocal <源> <本地目标>

相同的-get

16

-moveToLocal <源> <本地目标>

与 -get 类似,但成功后会删除 HDFS 副本。

17 号

-mkdir <路径>

在 HDFS 中创建一个名为 path 的目录。

创建路径中缺少的任何父目录(例如,Linux 中的 mkdir -p)。

18

-setrep [-R] [-w] 代表 <路径>

设置由代表路径标识的文件的目标复制因子。(实际复制因子将随着时间的推移向目标移动)

19

-touchz <路径>

在包含当前时间作为时间戳的路径中创建一个文件。如果路径中已存在文件,则失败,除非该文件的大小已为 0。

20

-test -[ezd] <路径>

如果路径存在则返回1;长度为零;or 是目录,否则为 0。

21

-stat [格式] <路径>

打印有关路径的信息。格式是一个字符串,它接受以块为单位的文件大小 (%b)、文件名 (%n)、块大小 (%o)、复制 (%r) 和修改日期 (%y、%Y)。

22

-tail [-f] <文件名>

在 stdout 上显示文件的最后 1KB。

23

-chmod [-R] 模式,模式,... <路径>...

更改与路径标识的一个或多个对象关联的文件权限...使用 R 递归执行更改。模式是一种 3 位八进制模式,或 {augo}+/-{rwxX}。假设未指定范围且不应用 umask。

24

-chown [-R] [所有者][:[组]] <路径>...

设置由路径标识的文件或目录的所有者用户和/或组...如果指定了 -R,则递归设置所有者。

25

-chgrp [-R] 组 <路径>...

设置由路径标识的文件或目录的所属组...如果指定了 -R,则递归设置组。

26

-help <cmd 名称>

返回上面列出的命令之一的使用信息。您必须省略 cmd 中的前导“-”字符。