文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python怎么批量检查图像是否可用

2023-07-02 00:33

关注

本篇内容主要讲解“Python怎么批量检查图像是否可用”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python怎么批量检查图像是否可用”吧!

数据集中的图像,一般不可用在以下3个方面:

图像过小

无法打开

“Premature end of JPEG file”

这些图像可能会导致模型的学习异常,因此,使用多进程检查数据集中的每张图像,是很有必要的。

具体逻辑如下:

脚本如下:

#!/usr/bin/env python# -- coding: utf-8 --"""Copyright (c) 2020. All rights reserved.Created by C. L. Wang on 10.11.20"""import argparseimport osfrom multiprocessing import Poolimport cv2def traverse_dir_files(root_dir, ext=None):    """    列出文件夹中的文件, 深度遍历    :param root_dir: 根目录    :param ext: 后缀名    :return: [文件路径列表, 文件名称列表]    """    names_list = []    paths_list = []    for parent, _, fileNames in os.walk(root_dir):        for name in fileNames:            if name.startswith('.'):  # 去除隐藏文件                continue            if ext:  # 根据后缀名搜索                if name.endswith(tuple(ext)):                    names_list.append(name)                    paths_list.append(os.path.join(parent, name))            else:                names_list.append(name)                paths_list.append(os.path.join(parent, name))    return paths_list, names_listdef check_img(path, size):    """    检查图像    """    is_good = True    try:        img_bgr = cv2.imread(path)        h, w, _ = img_bgr.shape        if h < size or w < size:            is_good = False        _ = cv2.resize(img_bgr, (size, size))    except Exception as e:        is_good = False    if path.endswith("jpg"):        with open(path, 'rb') as f:            check_chars = f.read()[-2:]        if check_chars != b'\xff\xd9':            print('[Info] Not complete jpg image')            is_good = False    if not is_good:        print('[Info] error path: {}'.format(path))        os.remove(path)def check_error(img_dir, n_prc, size):    """    检查错误图像的数量    """    print('[Info] 处理文件夹路径: {}'.format(img_dir))    paths_list, names_list = traverse_dir_files(img_dir)    print('[Info] 数据总量: {}'.format(len(paths_list)))    pool = Pool(processes=n_prc)  # 多线程下载    for idx, path in enumerate(paths_list):        pool.apply_async(check_img, (path, size))        if (idx+1) % 1000 == 0:            print('[Info] idx: {}'.format(idx+1))    pool.close()    pool.join()    print('[Info] 数据处理完成: {}'.format(img_dir))def parse_args():    """    处理脚本参数,支持相对路径    :return: in_folder 输入文件夹, size 尺寸, n_prc 进程数    """    parser = argparse.ArgumentParser(description='检查图片脚本')    parser.add_argument('-i', dest='in_folder', required=True, help='输入文件夹', type=str)    parser.add_argument('-p', dest='n_prc', required=False, default=100, help='进程数', type=str)    parser.add_argument('-s', dest='size', required=False, default=50, help='最小边长', type=str)    args = parser.parse_args()    in_folder = args.in_folder    size = int(args.size)    n_prc = int(args.n_prc)    print("[Info] 文件路径:{}".format(in_folder))    print("[Info] 进程数: {}".format(n_prc))    print("[Info] 边长: {}".format(size))    return in_folder, n_prc, sizedef main():    arg_in, n_prc, size = parse_args()    check_error(arg_in, n_prc, size)if __name__ == '__main__':    main()

到此,相信大家对“Python怎么批量检查图像是否可用”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯