Hadoop- Hadoop详解

首先所有知识以官网为准,所有的内容在官网上都有展示,所有的变动与改进,新增内容都以官网为准。hadoop.apache.org

Hadoop是一个开源的可拓展的分布式并行处理计算平台,利用服务器集群根据用户的自定义业务逻辑,对海量数据进行分布式处理。Hadoop提供了一个可靠的共享存储和分析系统,Hadoop的核心三大组件有HDFS(分布式文件系统),MapReduce(分布式运算编程框架),YARN(运算资源调度系统)。HDFS实现了数据的存储,负责对文件的读写;MapReduce实现了数据的分析和处理;Yarn负责为MapReduce程序分配运算硬件资源。以其高拓展,高效率,高可靠,可构建在廉价的机器上等优点得到了越来越广泛的应用。

分布式存储HDFS详解

重点概念:文件切块,副本存放,元数据

HDFS的概念和特性

什么是分布式文件系统?

计算机通过文件系统管理、存储数据,而信息爆炸时代中人们可以获取的数据成指数倍的增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据。这是来自百度的介绍,我就偷下懒。

分布式存储:

1.数据块分布在多台机器上

2.每一数据块都可以冗余存储在多台机器上,以提高数据块的高可用性

分布式存储集群:

master/slave结构集群

1.存在slave上的文件

表示真实存放数据的文件即本地磁盘文件

2.存在master上的文件

表示逻辑文件,它表示这个逻辑文件全路径名,与这个全路径对应的有数据块的存储信息(数据位置等)

HDFS的设计目标:

将大文件、大批量的文件,分布式存储在大量的服务器上,以便采取分而治之的方式对海量数据进行运算分析。

在大数据系统中的作用:

为各类分布式运算框架(如:mapreduce,spark,tez,......)提供数据存储服务

HDFS的概念和特征

首先它是一个文件系统,用于存储文件,通过通过统一的命名空间——目录树来定位文件

其次它是分布式的,由很多服务器联合起来实现其功能。

重要特性如下:

(1)HDFS中的文件在物理上是分块存储(block,块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M 

(2)HDFS文件系统会给客户端提供一个统一的抽象目录树,客户端通过路径来访问文件,形如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

(3)目录结构及文件分块信息(元数据)的管理由namenode节点承担

——namenode是HDFS集群主节点,负责维护整个hdfs文件系统的目录树,以及每一个路径(文件)所对应的block块信息(block的id,及所在的datanode服务器)

(4)文件的各个block的存储管理由datanode节点承担

---- datanode是HDFS集群从节点,每一个block都可以在多个datanode上存储多个副本(副本数量也可以通过参数设置dfs.replication)

(5)HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的修改

(注:适合用来做数据分析,并不适合用来做网盘应用,因为,不便修改,延迟大,网络开销大,成本太高,但可以合并小文件)

 

Hadoop的配置文件详解

客户端连接hadoop集群时,可以指定配置文件。用户根据自己的需求对配置选项修改。Hadoop在运行时,会优先使用用户的配置文件

Configuration conf = new Configuration()

1.向namenode通信请求上传文件。

2.namenode检查目标文件是否已存在,父目录是否存在

3.namenode返回是否可以上传

4.Client请求第一个block该传输到哪些datanode服务器上(首先提供要保存多少个副本,默认是配置文件的副本数)

5.namenode返回3个datanode服务器A,B,C

6.Client通过socket请求3台datanode的一台上传数据(本质上是一个RPC调用,建立pipeline),A收到请求就会继续调用B,然后B调用C将整个pipeline建立完成,逐级返回客户端

7.client开始往A上传第一个block(先从磁盘读取数据到一个本地内存缓存),以packet为单位,A收到一个packet就会传给B,B传给C;A每传一个packet会放入一个应答队列等待应答

8当一个block传输完成之后,client再次请求namenode上传第二个block的服务器。循环以上4到7的步骤。

HDFS主从结构

Namenode:是主节点,保存文件元数据信息,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等,服务器,文件怎么存;Namenode将元数据一部分存放在内存中,一部分存放在本地磁盘中(fsimage:镜像文件和edits:编辑日志)

Datanode:存文件(在本地文件系统中存储文件块数据,以及块的校验和),心跳

 

辅助

Secondary NameNode 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

 

 

NameNode是由哪个文件中的哪个配置属性指定的呢?

core-site.xml文件中;
    <property>
                <name>fs.defaultFS</name>
               <value>hdfs://ns1:8020</value>
    </property>

DataNodes:是由哪个文件中的哪个配置属性指定的呢?

slaves配置文件中的配置项

SecondaryNameNode是由哪个文件中的哪个配置属性指定的呢?

hdfs-site.xml文件中

<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>-senior.ibeifeng.com:50090</value>
</property>

 

拓展:跨服务器的通信怎么做?

RPC通信框架,自定义RPC,IPC

 

关于Hadoop的一些配置可以看官网,官网上面有属性看,但是没有描述,比如这时候可以看

-2.6.1\share\\yarn\-yarn-server-common-2.6.1.jar 里面有个yarn-default.xml

里面有详细的描述。

 

MapReduce的理解参考:

Hadoop- MapReduce分布式计算框架原理

 

 

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论