文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Java API操作HDFS方法是什么

2023-07-05 04:30

关注

这篇“Java API操作HDFS方法是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Java API操作HDFS方法是什么”文章吧。

一、判断Path指向目录还是文件

net.xxr.hdfs包里创建PathToFileOrDir

Java API操作HDFS方法是什么

package net.xxr.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.net.URI;public class PathToFileOrDir {    public static void main(String[] args) throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象,指向目录        Path path2 = new Path("/ied01");        if (fs.isDirectory(path2)) {            System.out.println("[" + path2 + "]指向的是目录!");        } else {            System.out.println("[" + path2 + "]指向的是文件!");        }        // 创建路径对象,指向文件        Path path3 = new Path("/lzy01/test2.txt");        if (fs.isFile(path3)) {            System.out.println("[" + path3 + "]指向的是文件!");        } else {            System.out.println("[" + path3 + "]指向的是目录!");        }    }}

结果

Java API操作HDFS方法是什么

二、删除目录或文件

net.xxr.hdfs包里创建DeleteFileOrDir

Java API操作HDFS方法是什么

1、删除文件

package net.xxr.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.Test;import java.net.URI;public class DeleteFileOrDir {    @Test    public void deleteFile() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象(指向文件)        Path path = new Path(uri + "/lzy01/hello.txt");        // 删除路径对象指向的文件(第二个参数表明是否递归,删除文件,不用递归)        boolean result = fs.delete(path, false);        // 根据返回结果提示用户        if (result) {            System.out.println("文件[" + path + "]删除成功!");        } else {            System.out.println("文件[" + path + "]删除失败!");        }    }}

结果

Java API操作HDFS方法是什么

利用Hadoop WebUI界面查看

Java API操作HDFS方法是什么

再运行deleteFile()测试方法,查看结果

Java API操作HDFS方法是什么

可以在删除文件之前,判断文件是否存在,需要修改代码

package net.xxr.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.Test;import java.net.URI;public class DeleteFileOrDir {    @Test    public void deleteFile() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象(指向文件)        Path path = new Path(uri + "/lzy01/hi.txt");        // 判断路径对象指向的文件是否存在        if (fs.exists(path)) {            // 删除路径对象指向的文件(第二个参数表明是否递归,删除文件,不用递归)            boolean result = fs.delete(path, false);            // 根据返回结果提示用户            if (result) {                System.out.println("文件[" + path + "]删除成功!");            } else {                System.out.println("文件[" + path + "]删除失败!");            }        } else {            System.out.println("文件[" + path + "]不存在!");        }    }}

结果

Java API操作HDFS方法是什么

2、删除目录

@Test    public void deleteDir() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 创建路径对象(指向目录)        Path path = new Path(uri + "/ied01");        // 判断路径对象指向的目录否存在        if (fs.exists(path)) {            // 删除路径对象指向的目录(第二个参数表明是否递归,删除文件,要递归)            boolean result = fs.delete(path, true);            // 根据返回结果提示用户            if (result) {                System.out.println("目录[" + path + "]删除成功!");            } else {                System.out.println("目录[" + path + "]删除失败!");            }        } else {            System.out.println("目录[" + path + "]不存在!");        }    }

Java API操作HDFS方法是什么

再运行deleteDir()方法,查看结果

Java API操作HDFS方法是什么

3、删除目录或文件

@Test    public void delete() throws Exception {        // 创建配置对象        Configuration conf = new Configuration();        // 设置数据节点主机名属性        conf.set("dfs.client.use.datanode.hostname", "true");        // 定义uri字符串        String uri = "hdfs://master:9000";        // 创建文件系统对象        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");        // 定义随机对象        Random random = new Random();        // 产生随机整数 - [0, 1]        int choice = random.nextInt(100) % 2;        // 定义路径字符串        String[] strPath = {"/ied03/exam.txt", "/ied02"};        // 创建路径对象(指向目录或文件)        Path path = new Path(uri + strPath[choice]);        // 判断类型:目录或文件        String type = "";        if (fs.isDirectory(path)) {            type = "目录";        } else {            type = "文件";        }        // 判断存在性        if (fs.exists(path)) {            // 删除路径对象指向的目录或文件            boolean result = fs.delete(path, true);            // 判断删除是否成功            if (result) {                System.out.println(type + "[" + path + "]删除成功!");            } else {                System.out.println(type + "[" + path + "]删除失败!");            }        } else {            System.out.println(type + "[" + path + "]不存在!");        }    }

以上就是关于“Java API操作HDFS方法是什么”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯