热点

分布式文件系统HDFS及其简单使用

字号+ 作者:牛骥同槽网 来源:汽配养护 2026-11-23 我要评论(0)

分布式文件系统HDFS及其简单使用

在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。

HDFS

HDFS(Hadoop Distributed Fi分布le System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储式文文件, 并且提供统一的访问接口。

HDFS是根据谷歌的论文:《The Google File System》进行设计的

HDFS的四个基本组件:HDFS Client、NameNode、DataN件系ode和Secondary NameNode。

Client

Client是客户端。HDFS Client文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后统H进行存储。Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。

NameNode

NameNode就是 master,它是一个主管、管理者。管理 HDFS 元数据(文件DF路径,文件的大小,文件的名字,文件权限,文件的block切片信息)。

NameNode管理 Block 副本策略:默认 3 个副本,处理客户端读写请求。

DataNode

DataNodeS及就是Slave。NameNode下达命令,DataNode 执行实际的操作。

DataNode存储实际的数据块,执行数据块的读/写操作。定时向namenode汇报block信息。

S其简econdary NameNode

SecondaryNameNode不是NameNode的备份。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。

辅助 Nam单使eNode,分担其工作量。在紧急情况下,可辅助恢复 NameNode。

副本机制

HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,这个数据块被分布称为block,除了最后一个,所有的数据块都是同样大小的。

为了容错,文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。

在hadoop2 当中, 文件的式文 block 块大小默认是 「128M」(134217728字节)。

如上图所示,一个大小为300M的a.txt上传到HDFS中,需要进行128M的切分,不足128M分为到另一block中件系。

HDFS基本命令

HDFS 简单使用

根据部署的服务,我们的 HDFS 根目录是 hdfs://192.168.147.128:9820,下面我们尝试在根目录下面创建子目录 user,如下命令所统H示:

[hadoop@node01 ~]$ hadoop fs -mkdir /user 

然后在Hadoop页面打开DFHDFS。

此时的user文件夹将会看见。

下面将一个大小为300M的文件上传到HDFS的user文件夹中

然后在Hadoop页面看见刚刚上传的文件。

此时被分开了三个block。

&nS及bsp;

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 使用Prometheus和Grafana监控Kubernetes集群!

    使用Prometheus和Grafana监控Kubernetes集群!

    2026-11-22

  • Twitter正在开发新功能 想加强隐私控制

    Twitter正在开发新功能 想加强隐私控制

    2026-07-03

  • 标签: 橡鹿机器人 AI炒菜机器人 超意兴 小菜园

    标签: 橡鹿机器人 AI炒菜机器人 超意兴 小菜园

    2026-09-14

  • 标签: 保时捷 奥博穆 德国汽车 高薪企业

    标签: 保时捷 奥博穆 德国汽车 高薪企业

    2026-07-26

网友点评