文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

【Java流式下载大文件,避免OOM内存溢出】

2023-08-25 06:30

关注

Java下载文件时,如果是小文件的下载,我们一般直接使用工具类的方法,比如cn.hutool.http.HttpUtil.downloadFile()。但是如果是大文件的下载,使用这些工具类的方法,可能会出现Out of Memory内存溢出,它是指需要的内存空间大于系统分配的内存空间,oom后果就是项目程序crash,Hprof Heap Profile 内存快照文件。因此,我们需要自己写下载文件方法,下面提供两种下载方法:

1.BufferedInputStream 缓存流的方式来获取下载文件

使用HttpURLConnection和bufferedInputStream 缓存流的方式来获取下载文件,读取InputStream输入流时,每次读取的大小为5M,不一次性读取完,就可避免内存溢出的情况。

public static void downloadFile(String downloadUrl, String path){    InputStream inputStream = null;    OutputStream outputStream = null;    try {        URL url = new URL(downloadUrl);        //这里没有使用 封装后的ResponseEntity 就是也是因为这里不适合一次性的拿到结果,放不下content,会造成内存溢出        HttpURLConnection connection =(HttpURLConnection) url.openConnection();        //使用bufferedInputStream 缓存流的方式来获取下载文件,不然大文件会出现内存溢出的情况        inputStream = new BufferedInputStream(connection.getInputStream());        File file = new File(path);        if (file.exists()) {            file.delete();        }        outputStream = new FileOutputStream(file);        //这里也很关键每次读取的大小为5M 不一次性读取完        byte[] buffer = new byte[1024 * 1024 * 5];// 5MB        int len = 0;        while ((len = inputStream.read(buffer)) != -1) {            outputStream.write(buffer, 0, len);        }        connection.disconnect();    }catch (Exception e){        e.printStackTrace();    }finally {        IOUtils.closeQuietly(outputStream);        IOUtils.closeQuietly(inputStream);    }}

2.RestTemplate流式处理下载大文件

使用RestTemplate流式处理下载大文件,需要先用RequestCallback定义请求头的接收类型application/octet-stream,然后restTemplate进行请求下载时,对响应进行流式处理而不是将其全部加载到内存中。

public static void download(String url, String productZipName) {    SSL factory = new SSL();    RestTemplateConfig config = new RestTemplateConfig();    RestTemplate restTemplate = config.restTemplate(factory);    File file = new File(productZipName);    try {        //定义请求头的接收类型        RequestCallback requestCallback = request -> request.getHeaders()                .setAccept(Arrays.asList(MediaType.APPLICATION_OCTET_STREAM, MediaType.ALL));        //对响应进行流式处理而不是将其全部加载到内存中        restTemplate.execute(url, HttpMethod.GET, requestCallback, clientHttpResponse -> {            Files.copy(clientHttpResponse.getBody(), Paths.get(productZipName));            return null;        });    }catch (Exception e){        e.printStackTrace();    }}

来源地址:https://blog.csdn.net/weixin_39825906/article/details/129355848

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯