Hadoop3.x | 十一、Hadoop环境搭建之Hadoop集群辅助配置

[toc]前一篇完全分布式已经正常运行,本篇进行Hadoop集群间的补充!一、配置历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:1. 配置mapred-site.xml[liudd@hadoop102 hadoop]$ vim mapred-site.xml# 在该


Hadoop3.x | 十、Hadoop环境搭建之Hadoop完全分布式运行模式

[toc]零、搭建完全分布式环境准备准备 3 台客户机(关闭防火墙、静态 IP、主机名称)(已准备)安装 JDK(已准备)配置环境变量(已准备)安装 Hadoop(已准备)配置环境变量(已准备)配置集群单点启动配置 ssh群起并测试集群环境准备,1-5在搭建本地运行模式已经准备完毕,6到9本篇进行配


Hadoop3.x | 九、Hadoop环境搭建之Hadoop本地运行模式

[toc]一、Hadoop 运行模式Hadoop 官方网站:http://hadoop.apache.org/Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所


Hadoop3.x | 八、Hadoop环境搭建之安装Hadoop

[toc]本系列资源:关注公众号:雨中散步撒哈拉,回复关键词:024一、安装Hadoop在hadoop102安装Hadoop1. Hadoop下载地址https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/2. 上传服务器用XShell文


Hadoop3.x | 七、Hadoop环境搭建之安装JDK

[toc]一、卸载自带JDK注意:安装JDK前,一定确保提前删除了虚拟机自带的JDK。详细步骤见:https://liudongdong.top/archives/hadoop3xwu-hadoop-huan-jing-da-jian-zhi-mo-ban-xu-ni-ji-zhun-bei二、传输


Hadoop3.x | 六、Hadoop环境搭建之克隆虚拟机

[toc]一、克隆虚拟机利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104注意:克隆时,要先关闭hadoop100二、修改ip修改克隆机IP,以下以hadoop102举例说明修改克隆虚拟机的静态IP[root@hadoop100 ~]# vim


Hadoop3.x | 五、Hadoop环境搭建之模板虚拟机准备

[toc]一、环境配置要求hadoop100 虚拟机配置要求如下(本文 Linux 系统全部以 CentOS-7.5-x86-1804 为例)1. 查看虚拟机是否可以上网使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况[root@hadoop100 ~]# ping


Hadoop3.x | 四、Hadoop环境搭建之远程连接

[toc]本篇资源:关注公众号:雨中散步撒哈拉,回复关键词:024通常在工作过程中,公司中使用的真实服务器或者是云服务器,都不允许除运维人员之外的员工直接接触,因此就需要通过远程登录的方式来操作。所以,远程登录工具就是必不可缺的,目前,比较主流的有Xshell,SecureCRT等,同学们可以根据自


Hadoop3.x | 三、Hadoop环境搭建之安装模板虚拟机

[toc]本篇资源:关注公众号:雨中散步撒哈拉,回复关键词:024系统的安装得分两个步骤第一步得配置一台电脑,选配CPU,内存,磁盘,网卡等硬件。(上一篇已经完成)第二步才是安装系统。2 安装系统(CentOS7)注意:在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开(大部分的电脑都是打开