大数据系统应用——Hadoop基础操作
❗❗❗本文最后更新于 363 天前,其中的信息可能已经过时;如有错误请在文章下方评论✅,欢迎纠错🥰!
上期将Hadoop集群搭建与配置完成了,接下来我们要进行一些Hadoop的基础操作来测试Hadoop集群(虚拟机克隆在此处不再赘述“包括一些修改网络配置,hosts文件等等的操作”)

一、查看Hadoop集群的基本信息

1.查询集群的存储系统信息

http://master:50070

显示各数据节点的存储信息

http://master:50070/dfshealth.html#tab-datanode

显示HDFS在线数据节点的信息

### 1.显示HDFS在线数据节点的信息命令
hdfs dfsadmin -report live

2.查询集群的计算资源信息

http://master:8088/cluster/nodes

节点slave1的计算资源信息

slave1:8042

二、上传文件到HDFS目录

1.掌握HDFS的基本操作

(1)创建新目录/user/dfstest

### 2.创建新目录/user/dfstest
hdfs dfs -mkdir -p /user/dfstest

(2)上传文件与下载文件

### 3.文件上传命令
# 创建文件a.txt
touch a.txt
# 修改a.txt内容
vim a.txt
# 显示a.txt内容
cat a.txt
# 将文件从本地文件复制到HDFS文件系统
hdfs dfs -copyFromLocal a.txt /user/dfstest
# 将文件从本地文件移动到HDFS文件系统并进行重命名(本地文件会删除)
hdfs dfs -moveFromLocal a.txt /user/dfstest/b.txt
# 将文件从本地文件上传到HDFS文件系统并进行重命名
hdfs dfs -put a.txt /user/dfstest/c.txt
### 4.文件下载命令
# 将文件从HDFS文件系统复制到本地文件系统
hdfs dfs -copyToLocal /user/dfstest/a.txt
# 获取HDFS文件系统上指定路径的文件到本地文件系统
hdfs dfs -get /user/dfstest/c.txt

(3)查看文件内容

# 查看HDFS文件内容
hdfs dfs -cat /user/dfstest/a.txt
# 获取HDFS文件最后1024字节
hdfs dfs -tail /user/dfstest/b.txt

(4)删除文件或目录

# 创建一个测试目录rmdir
hdfs dfs -mkdir -p /user/dfstest/rmdir
# 删除HDFS上的文件
hdfs dfs -rm /user/dfstest/c.txt
# 删除HDFS指定目录
hdfs dfs -rmdir /user/dfstest/rmdir

2.任务实现

(1)把本地计算机硬盘中的数据文件email_log.txt传输到集群服务器(master)的本地目录/root/hadoop/,打开SecureCRT,连接集群服务器的master节点,使用rz命令上传文件

### 7.实例.将本地文件email_log.txt文件上传到HDFS
### 【第一步】将本地计算机硬盘的数据文件email_log.txt传输到集群服务器master的本地目录/home/hadoop/
su root
rz

(2)在集群服务器(master)的终端执行HDFS命令,上传email_log.txt到HDFS目录/user/root/

### 【第二步】在HDFS创建新目录/user/root
hdfs dfs -mkdir -p /user/root
### 【第三步】在集群服务器(master)的终端执行 HDFS 命令,上传 email_log.txt 到 HDFS 目录/user/root/
hdfs dfs -put /home/hadoop/email_log.txt /user/root/

检查文件email_log.txt的内容

检查文件email_log.txt的文件块信息

三、运行首个MapReduce任务

1.提交MapReduce任务给集群运行

使用hadoop jar命令提交MapReduce任务命令

### 8.使用hadoop jar命令提交MapReduce任务命令
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /user/root/email log.txt /user/root/output

执行统计登录次数程序的命令

### 9.执行估计PI值的任务命令
hadoop jar /usr/local/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 10 100

### 10.更改参数执行估计PI值的任务命令
hadoop jar /usr/local/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 30 5000

四、管理多个MapReduce任务

1.查询MapReduce任务

2.中断MapReduce任务

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇