文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

我们一起聊聊增强数据可用性一定要复制多份吗?

2024-11-28 13:48

关注

纠删码处理数据持久性的方式与复制不同。它将数据分割成小块(放在不同的服务器上),并创建奇偶校验以实现冗余。发生故障时,我们可以使用分块数据和奇偶校验来重建数据。让我们来看一个具体的例子(4 + 2 纠删码)。

图片图片

1 -数据被分成四个偶数大小的数据块 d1、d2、d3 和 d4。

2 -数学公式用于计算奇偶校验 p1 和 p2。举一个简化得多的例子:p1 = d1 + 2d2 - d3 + 4d4 和 p2 = -d1 + 5d2 + d3 - 3d4。

3 - 由于节点崩溃,数据 d3 和 d4 丢失。

4 - 利用已知的 d1、d2、p1 和 p2 值,用数学公式重建丢失的数据 d3 和 d4。

01 纠删码的优势

存储开销更低

相比复制(通常需要三份完整副本),纠删码只需略高于原始数据的存储量。

每两块数据需要一个奇偶校验块,因此存储开销为 50%。而在 3 副本复制中,存储开销为 200%。见下图。

图片图片

高耐久性

假设节点的年故障率为 0.81%。根据 Backblaze 的计算,纠删码可实现 11% 的耐用性,而 3 份复制可实现 6% 的耐用性。

效率平衡

纠删码在存储效率和数据恢复能力之间实现了良好的平衡,非常适合大规模存储系统。

02 Amazon S3 的应用示例

Amazon S3 在其 Glacier Deep Archive 存储类别中使用纠删码。此类别注重耐久性,同时希望最大程度降低存储成本。而 Standard 存储类别则更多依赖复制,优先考虑数据访问的速度而非成本。

来源:ByteByteGo内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯