[toc]

本系列资源:
关注公众号:雨中散步撒哈拉,回复关键词:024

一、安装Hadoop

在hadoop102安装Hadoop

1. Hadoop下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

2. 上传服务器

用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

3. 解压

进入到Hadoop安装包路径下

[liudd@hadoop102 ~]$ cd /opt/software/

解压安装文件到/opt/module下面

[liudd@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功
[liudd@hadoop102 software]$ ls /opt/module/ hadoop-3.1.3

4. 将Hadoop添加到环境变量

  1. 获取Hadoop安装路径
[liudd@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
  1. 打开/etc/profile.d/my_env.sh文件
[liudd@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在my_env.sh文件末尾添加如下内容:(shift+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出: :wq

  1. 让修改后的文件生效
[liudd@hadoop102 hadoop-3.1.3]$ source /etc/profile

5. 测试是否安装成功

[liudd@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

image.png
重启(如果Hadoop命令不能用再重启虚拟机)

[liudd@hadoop102 hadoop-3.1.3]$ sudo reboot

二、Hadoop目录结构

1. 查看Hadoop目录结构

[liudd@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 liudd liudd  4096 5月  22 2017 bin
drwxr-xr-x. 3 liudd liudd  4096 5月  22 2017 etc
drwxr-xr-x. 2 liudd liudd  4096 5月  22 2017 include
drwxr-xr-x. 3 liudd liudd  4096 5月  22 2017 lib
drwxr-xr-x. 2 liudd liudd  4096 5月  22 2017 libexec
-rw-r--r--. 1 liudd liudd 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 liudd liudd   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 liudd liudd  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 liudd liudd  4096 5月  22 2017 sbin
drwxr-xr-x. 4 liudd liudd  4096 5月  22 2017 share

2. 重要目录

  1. bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
  2. etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  3. lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  4. sbin目录:存放启动或停止Hadoop相关服务的脚本
  5. share目录:存放Hadoop的依赖jar包、文档、和官方案例

Q.E.D.


只有创造,才是真正的享受,只有拚搏,才是充实的生活。