文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

HDFS有哪些显著的特点

2023-06-02 01:11

关注

小编给大家分享一下HDFS有哪些显著的特点,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

分布式文件系统(Hadoop Distributed File System)是Hadoop核心子项目,为Hadoop提供了一个综合性的文件系统抽象,并且只会实现了多类文件系统的接口。HDFS基于流式数据访问、存储和处理超大文件。

在HDFS中引入了存放元数据信息的服务器:NameNode和实际存放数据的服务器:DataNode。

HDFS有着显著的特点

运行在HDFS的应用程序的数据处理有较大的需求,从存储GB到存储TB级别的超大文件,在目前的实际应用中,HDFS以及被利用来管理存储PB级别的数据

Hadoop可以运行在廉价、异构的商用硬件集群上,并且可以在HDFS设计时充分考虑数据的可靠性、安全性、高可用性

HDFS有一个设计思路是“写入一次,多次读取”、数据源生成数据集后,会被复制分发到不同的存储节点,已用于响应数据分析任务的请求。HDFS放宽了可移植操作系统接口的要求,可以以流的形式访问文件系统中的数据

因为采用“写入一次,多次读取”的策略,所以支持追加不支持多次修改,降低了数据不一致性的造成可能

HDFS的设计能够有效预防硬件异常并且具有自动恢复数据的能力

HDFS能够自动保存数据的多个副本,并且能够自动将失败的任务重新发配,具有高容错性

所以,HDFS经常被使用于各个场景下,例如:

大数据存储:分布式存储

日志处理:擅长日志分析

ETL:数据可抽取到MYSQL,oracle,Lucene

机器学习

搜索引擎

但是,相对于的,HDFS也有不适应的地方

不适合低延迟的数据访问

HDFS不适合处理那些数据访问要求低延迟的请求,因为HDFS主要是为了高数据的吞吐设计的,会产生稿时间延迟的代价

无法高效的存储大量小文件

HDFS采用主从架构来存储数据,需要用到NameNode来管理文件系统的元数据,以响应请求。为了快速响应请求,元数据存在主节点的内存中,如果小文件数量多达,容易造成内存不足,导致系统错误

以上是“HDFS有哪些显著的特点”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网行业资讯频道!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯