Hadoop中HDFS文件读写流程是怎么样的-编程学习网

这篇文章主要介绍了Hadoop中HDFS文件读写流程是怎么样的，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

一、文件读流程说明
读取操作是对于Cient端是透明操作，感觉是连续的数据流
Hadoop中HDFS文件读写流程是怎么样的

1、Client 通过FileSystem.open(filePath)方法,去与NameNode进行RPC通信，返回该文件的部分
或全部block列表，也就是返回FSDatainputstream对象;
2、Client调用FSDatainputStream对象的read()方法;
a. 去与第一个最近的DN进行read，读取完后会check；如果ok会关闭与当前的DN通信；check fail
   会记录失败的block+DN信息下次不会读,然后去读取第二个DN地址
   b. 第二个块最近的DN上进行读取,check后关闭与DN通信
   c. block列表读取完了，文件还没有结束，FileSystem会从NameNode获取下一批的block列表;
3、Client条用FSDatainput对象的close方法，关闭输入流;

总结
      client > filesystem.open()与NameNode进行RPC通信返回get block list
       client > 调用inputstream对象read()方法
if ok > 关闭DN通信调用inputstream.close()方法关闭输入流
if fail > 记录DN和block信息,向第二个DN去读取最后close();
block列表read out , file over year > filesystem获取下一批block列表

二、文件写流程说明

Hadoop中HDFS文件读写流程是怎么样的

1、Client调用FileSystem.create(filepath)方法，与NameNode进行RPC通信，check该路径的文件是否存在和是否有创建该文件权限,假如ok就创建一个新文件,但并不关联任何的block,返回一个FSDataOutputStream对象;
2、Client调用FSDataOutputStream对象的write()方法,将第一个块写入第一个DataName，依次传给第二个节点，第三个节点,第三个节点写完返回一个ack packet给第二个节点,第二个节点返回第一个节点,第一个节点返回给ack packet给FSDataOutputstream对象,意味着第一个块写完,副本数为3；后面剩余块依次这样写;
3、文件写入数据完成后，Client调用FSDataOutputStream.close()方法,关闭输出流,刷新缓存区的数据包;
4、最后调用FileSystem.complate()方法,告诉NameNode节点写入成功;

总结：File.System.create()方法 > NameNode check(qx and exists )
if ok > 返回 FSDataOutStream对象 | if fail > return error
client 调用FSDataOutstream.write()方法 > 写入DN,teturn ack packet > FSDataOutStream对象
  client 调用FSDataOutstream.close()方法关闭输出流 >flush缓存
最后FileSystem.complate() 方法 > NameNode write ok