一、查看Hadoop集群的基本信息

1.查询集群的存储系统信息

http://master:50070

显示各数据节点的存储信息

http://master:50070/dfshealth.html#tab-datanode

显示HDFS在线数据节点的信息

### 1.显示HDFS在线数据节点的信息命令
hdfs dfsadmin -report live

2.查询集群的计算资源信息

http://master:8088/cluster/nodes

节点slave1的计算资源信息

slave1:8042

二、上传文件到HDFS目录

1.掌握HDFS的基本操作

（1）创建新目录/user/dfstest

### 2.创建新目录/user/dfstest
hdfs dfs -mkdir -p /user/dfstest

（2）上传文件与下载文件

### 3.文件上传命令
# 创建文件a.txt
touch a.txt
# 修改a.txt内容
vim a.txt
# 显示a.txt内容
cat a.txt
# 将文件从本地文件复制到HDFS文件系统
hdfs dfs -copyFromLocal a.txt /user/dfstest
# 将文件从本地文件移动到HDFS文件系统并进行重命名(本地文件会删除)
hdfs dfs -moveFromLocal a.txt /user/dfstest/b.txt
# 将文件从本地文件上传到HDFS文件系统并进行重命名
hdfs dfs -put a.txt /user/dfstest/c.txt
### 4.文件下载命令
# 将文件从HDFS文件系统复制到本地文件系统
hdfs dfs -copyToLocal /user/dfstest/a.txt
# 获取HDFS文件系统上指定路径的文件到本地文件系统
hdfs dfs -get /user/dfstest/c.txt

（3）查看文件内容

# 查看HDFS文件内容
hdfs dfs -cat /user/dfstest/a.txt
# 获取HDFS文件最后1024字节
hdfs dfs -tail /user/dfstest/b.txt

（4）删除文件或目录

# 创建一个测试目录rmdir
hdfs dfs -mkdir -p /user/dfstest/rmdir
# 删除HDFS上的文件
hdfs dfs -rm /user/dfstest/c.txt
# 删除HDFS指定目录
hdfs dfs -rmdir /user/dfstest/rmdir

2.任务实现

（1）把本地计算机硬盘中的数据文件email_log.txt传输到集群服务器(master)的本地目录/root/hadoop/，打开SecureCRT,连接集群服务器的master节点，使用rz命令上传文件

### 7.实例.将本地文件email_log.txt文件上传到HDFS
### 【第一步】将本地计算机硬盘的数据文件email_log.txt传输到集群服务器master的本地目录/home/hadoop/
su root
rz

（2）在集群服务器(master)的终端执行HDFS命令，上传email_log.txt到HDFS目录/user/root/

### 【第二步】在HDFS创建新目录/user/root
hdfs dfs -mkdir -p /user/root
### 【第三步】在集群服务器(master)的终端执行 HDFS 命令，上传 email_log.txt 到 HDFS 目录/user/root/
hdfs dfs -put /home/hadoop/email_log.txt /user/root/

检查文件email_log.txt的内容

检查文件email_log.txt的文件块信息

三、运行首个MapReduce任务

1.提交MapReduce任务给集群运行

使用hadoop jar命令提交MapReduce任务命令

### 8.使用hadoop jar命令提交MapReduce任务命令
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /user/root/email log.txt /user/root/output

执行统计登录次数程序的命令

### 9.执行估计PI值的任务命令
hadoop jar /usr/local/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 10 100

### 10.更改参数执行估计PI值的任务命令
hadoop jar /usr/local/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 30 5000

四、管理多个MapReduce任务

1.查询MapReduce任务

2.中断MapReduce任务