Hadoop3.x | 十八、hdfs之DataNode

[toc]一、DataNode 工作机制一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2. DataNode 启动后向 NameNode 注册,通过后,周期性(6 小时)的向NameNode 上报所


Hadoop3.x | 十七、hdfs之NameNode和SecondaryNameNode

[toc]一、NN和2NN工作机制1. NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此


Hadoop3.x | 十六、hdfs之读写流程

[toc]一、HDFS写数据流程1. 剖析文件写入数据写入流程客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在(权限认证)。NameNode返回是否可以上传。客户端请求第一个 Block上传到哪几个Dat


Hadoop3.x | 十五、hdfs之API操作

[toc]Hadoop系列资源:关注公众号:雨中散步撒哈拉,回复关键词:024一、客户端环境准备找到Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如e:).配置HADOOP_HOME环境变量配置Path环境变量。注意:如果环境变量不起作用,可以重启电脑试试。验证Hadoop环


Hadoop3.x | 十四、hdfs之shell操作

[toc]一、命令汇总1. 基本语法hadoop fs 具体命令 OR hdfs dfs 具体命令 两个是完全相同的。2. 命令大全[liudd@hadoop102 bin]$ hadoop fsUsage: hadoop fs [generic options][-appendToFile &l


Hadoop3.x | 十三、hdfs概述

[toc]一、HDFS产出背景及定义1. HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2. HDFS定义HD