文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

HADOOP HDFS有哪些优点

2023-06-02 03:50

关注

本篇内容介绍了“HADOOP HDFS有哪些优点”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

以HADOOP 2.x为背景。

一、库房(存储银两)之HDFS。

为了发家致富,胡雪岩掌柜的开了(阜康钱庄),首先得找个地方放银两,在北京买块地,盖个房子,这就是银库(HDFS),这个银库有个特点,除了北京(节点1)可以盖,在河北(节点2)也能盖,在安徽(节点3)也能盖,而且这3地的银库的银两是可以互通的,储户左宗棠可以在北京存钱,安徽能取。

好处:

解决单点故障,北京银库被抢劫。

可以低成本扩展硬件的问题,北京地价贵。

数据的就近使用,河北也能取钱。

高扩展性。业务大,在河南也能盖银库,业务小,河北的银库可以出租出去。

适合大数据处理、3个库房可以同时存取银两。只要库房(1w个库房)够多,放个几个亿。GB,TB,PB。

缺点:

低延时数据访问,往库房放银两较慢

适合存储银锭(大文件),不适合处理碎银两。

适合放银两,不适合换银两。

当有了库房,得有个管理库房的人,(阜康钱庄)就开始营业了。

库房总管:胡二(namenode):

管理HDFS的名称空间,北京库房叫北库,河北库房叫河北库,安徽库房叫徽库。

管理数据块(block)的映射信息,记录左大人的钱在哪里放在。

配置副本策略。

处理客户端读写请求,接银两的存储请求。

分库房负责人:胡北京 胡河北 胡安徽(datanode)

存储实际数据块,放银两

执行数据块的读写操作,具体操作银两的存放。

存储着文件。

hadoop1.0 一个银锭64MB  

hadoop2.0 一个银锭128MB

库房总管助手:胡小二(胡二的助手):

辅助胡二(namenode),分担工作量。

定期合并fsimage和fsedits,并推送给namenode,胡小二平时记录存储账目。

在紧急情况小,可辅助恢复namenode,胡小二接替胡二的工作。

客户:储户左宗棠 (client)

存钱,上传文件,零存,

取钱

和胡二读取文件的位置信息

和胡北京读取数据

二、下面聊聊存钱过程(HDFS的文件写入)和取钱过程(HDFS的文件读取)

左宗棠存钱过程.

左宗棠找胡二,我要存钱。

胡二先判断左宗棠有权限存钱没,然后给左宗棠分配存钱的库房。

左宗棠拿着条(存储信息),去了北京库房,把钱存入北京库房。

左宗棠把存储的信息反馈给胡二。

左宗棠取钱过程。

左宗棠要取钱,问胡二钱在哪个库房。

胡二告诉左宗棠钱在胡北京的库房。

左宗棠去胡北京的库房取银两。

如果取的钱太多,需要用车拉多次,左宗棠取一次钱,需要告诉一次胡二。

等取钱结束后,告诉胡二。

“HADOOP HDFS有哪些优点”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯