文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python argparse命令参数与config配置参数怎么使用

2023-07-05 07:58

关注

这篇文章主要介绍“Python argparse命令参数与config配置参数怎么使用”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Python argparse命令参数与config配置参数怎么使用”文章能帮助大家解决问题。

argparse 是什么

argparse 是 Python 内置的一个用于命令项选项与参数解析的模块,通过在程序中定义好我们需要的参数,然后在程序启动命令行传递我们想要改变的参数

使用argparse的最小使用例子

步骤:

(1)import argparse 首先导入模块

(2)parser = argparse.ArgumentParser() 创建一个解析对象

(3)parser.add_argument() 向该对象中添加你要关注的命令行参数和选项。第三步中,可以添加多个我们想要的参数。如下面的例子

(4)parser.parse_args() 进行解析

(5)vars()将解析值转换成字典对象,然后就可以使用了

例子如下,文件名为main.py

# 文件名为main.pyclass DoSomething():    def working(self):        passif __name__ == '__main__':    import argparse  # 步骤一:导入模块    # 启动参数    parser = argparse.ArgumentParser()  # 步骤二:创建一个解析对象    # 步骤三:向解析对象中添加你要关注的命令行参数和选项    parser.add_argument('--labels_dir', type=str,        help='标签目录', default='./data/labels')   # help的值就是你对这个参数labels_dir的作用描述    parser.add_argument('--models_dir', type=str,        help='模型跟目录', default='./data/models')  # type的值就是你对这个参数models_dir数据类型的指定    parser.add_argument('--last_dir_name', type=str,        help='文件后序名', default='_seq_month_serial')  # default的值就是你对这个参数last_dir_name设置的默认值    parser.add_argument('--batch_size', type=int,        help='批次大小', default=64)    parser.add_argument('--classes', type=int,        help='聚类数', default=9)    parser.add_argument('--predict_date', type=str,        help='预测年月', default='202101')    parser.add_argument('--last_date', type=str,        help='输入最后年月', default='202001')    parser.add_argument('--only_predict', action="store_true",  # action的值就是你对这个参数only_predict设置了布尔数据类型,并且默认值为True        help='只识别,不训练')    parser.add_argument('--delete_model', action="store_true",        help='先删除模型,仅在训练时使用')    parser.add_argument('--hidden_size', type=int,        help='模型维度', default=128)    parser.add_argument('--learning_rate', type=float,        help='学习速率', default=5e-4)    parser.add_argument('--export_excel', action="store_true",        help='导出excel')    parser.add_argument('--loss_type', type=str,        help='loss类型', default='categorical_crossentropy')    parser.add_argument('--avg_model_num', type=int,        help='平均模型数', default=10)    parser.add_argument('--get_data', action="store_true",        help='重新获取数据')    argparse_args = parser.parse_args()  # 步骤四:进行解析# vars() 函数返回对象object的属性和属性值的字典对象。    args_default = vars(argparse_args)  # 步骤五,将解析值转换成字典对象,然后就可以使用了    print(type(argparse_args))      print(argparse_args)    print('分割线')    print(type(args_default))    # 是字典数据类型    print(args_default)  # 将这个字典传入到程序中,就可以拿到这些参数的所有值了

运行,得出下面的结果

<class 'argparse.Namespace'>
Namespace(labels_dir='./data/labels', models_dir='./data/models', last_dir_name='_seq_month_serial', batch_size=64, classes=9, predict_date='202101', last_date='202001', only_predict=False, delete_model=False, hidden_size=128, learning_rate=0.0005, export_excel=False, loss_type='categorical_crossentropy', avg_model_num=10, get_data=False)
分割线
<class 'dict'>
{'labels_dir': './data/labels', 'models_dir': './data/models', 'last_dir_name': '_seq_month_serial', 'batch_size': 64, 'classes': 9, 'predict_date': '202101', 'last_date': '202001', 'only_predict': False, 'delete_model': False, 'hidden_size': 128, 'learning_rate': 0.0005, 'export_excel': False, 'loss_type': 'categorical_crossentropy', 'avg_model_num': 10, 'get_data': False} 

argparse实际工作的用法

问题背景

上面的对法如果你程序就只是一个文件,那就已经满足了。如果你项目比较大,有很多基础的命令配置参数在很多启动文件中都用到了,当然你可以在各自的启动文件中都写上,但是如果你这么做,后续参数值的修改和变动将非常麻烦,因为你需要同时修改很多启动文件,有没有办法修改一个启动文件就可以呢。办法是有的。

解决办法

通过新建一个类来实现,文件名为share_args.py。这个类里面写上你所需要的命令参数

class ShareArgs():# args就是整个项目经常使用到的默认参数,经常不需要进行变动,所以就写在这里。然后通过update的更新写到启动文件的字典参数里面    args = {        "labels_dir":"./shop_group/month_w_amt/data/labels", # 标签目录        "labels_output_dir":"./shop_group/month_w_amt/data/labels_output", # 聚类导出标签目录        "common_datas_dir":"./data", # 共用数据目录        "only_predict": False, # 只识别,不训练        "delete_model": True, # 先删除模型,仅在训练时使用        "export_excel": False, # 导出excel        "classes": 12, # 聚类数        "batch_size": 16,        "hidden_size": 32,        "max_nrof_epochs": 100,        "learning_rate": 0.0005,        "loss_type": "categorical_crossentropy",        "avg_model_num": 10,        "steps_per_epoch": 4.0, # 4.0        "lr_callback_patience": 4,         "lr_callback_cooldown": 1,        "early_stopping_callback_patience": 6,        "get_data": True,    }    def get_args():  # 获取参数字典        return ShareArgs.args    def set_args(args):  # 一次性更新修改所有参数字典的值        ShareArgs.args = args    def set_args_value(key, value):  # 根据索引更新参数字典的值        ShareArgs.args[key] = value    def get_args_value(key, default_value=None):  # 获取指定索引的默认参数的值        return ShareArgs.args.get(key, default_value)    def contain_key(key):  # 判断索引是否在参数字典里面        return key in ShareArgs.args.keys()    def update(args):  # 用于更新字典中的键/值对,可以修改存在的键对应的值,也可以添加新的键/值对到字典中        ShareArgs.args.update(args)

启动文件如下,文件名为main.py

import sysbase_dir = ''sys.path.append(base_dir)from share_args import ShareArgsclass DoSomething():    def working(self):        print('ShareArgs.args : ',ShareArgs.args)if __name__ == '__main__':    import argparse  # 步骤一:导入模块    # 启动参数    parser = argparse.ArgumentParser()  # 步骤二:创建一个解析对象    # 步骤三:向解析对象中添加你要关注的命令行参数和选项    parser.add_argument('--labels_dir', type=str,        help='标签目录', default='./data/labels')   # help的值就是你对这个参数labels_dir的作用描述    parser.add_argument('--models_dir', type=str,        help='模型跟目录', default='./data/models')  # type的值就是你对这个参数models_dir数据类型的指定    parser.add_argument('--last_dir_name', type=str,        help='文件后序名', default='_seq_month_serial')  # default的值就是你对这个参数last_dir_name设置的默认值    parser.add_argument('--batch_size', type=int,        help='批次大小', default=64)    parser.add_argument('--classes', type=int,        help='聚类数', default=9)    parser.add_argument('--predict_date', type=str,        help='预测年月', default='202101')    parser.add_argument('--last_date', type=str,        help='输入最后年月', default='202001')    parser.add_argument('--only_predict', action="store_true",  # action的值就是你对这个参数only_predict设置了布尔数据类型,并且默认值为True        help='只识别,不训练')    parser.add_argument('--delete_model', action="store_true",        help='先删除模型,仅在训练时使用')    parser.add_argument('--hidden_size', type=int,        help='模型维度', default=128)    parser.add_argument('--learning_rate', type=float,        help='学习速率', default=5e-4)    parser.add_argument('--export_excel', action="store_true",        help='导出excel')    parser.add_argument('--loss_type', type=str,        help='loss类型', default='categorical_crossentropy')    parser.add_argument('--avg_model_num', type=int,        help='平均模型数', default=10)    parser.add_argument('--get_data', action="store_true",        help='重新获取数据')    argparse_args = parser.parse_args()  # 步骤四:进行解析# vars() 函数返回对象object的属性和属性值的字典对象。    args_default = vars(argparse_args)  # 步骤五,将解析值转换成字典对象,然后就可以使用了    # print(type(argparse_args))      # print(argparse_args)    # print('分割线')    # print(type(args_default))    # 是字典数据类型    # print(args_default)  # 将这个字典传入到程序中,就可以拿到这些参数的所有值了    ShareArgs.update(args_default)  # 将很多的默认参数更新到这里来    DoSomething().working()

结果如下。可以发现,类中默认的参数全部拿到了

ShareArgs.args :  {'labels_dir': './data/labels', 'labels_output_dir': './yongjian/shop_group/month_w_amt/data/labels_output', 'common_datas_dir': './yongjian/data', 'only_predict': False, 'delete_model': False, 'export_excel': False, 'classes': 9, 'batch_size': 64, 'hidden_size': 128, 'max_nrof_epochs': 100, 'learning_rate': 0.0005, 'loss_type': 'categorical_crossentropy', 'avg_model_num': 10, 'steps_per_epoch': 4.0, 'lr_callback_patience': 4, 'lr_callback_cooldown': 1, 'early_stopping_callback_patience': 6, 'get_data': False, 'models_dir': './data/models', 'last_dir_name': '_seq_month_serial', 'predict_date': '202101', 'last_date': '202001'}

对argparse做不到的事情的补充

问题背景

在第二部分中已经解释了如何配合多个启动文件的问题,用一个类来解决。但是呢,还有个问题就是如果有很多配置参数变动比较频繁,例如连接数据库的账号、密码、端口、ip等等,这些数据变动多,而且数据需要一定的保密性,所以不能通过建一个类来进行传递,那该怎么办呢?

解决办法

通过读取配置文件config.yml来进行解决。可以把正式环境的配置信息放到config.yml里面,测试环境的配置信息放到configtest.py。这样可以确保整个项目读取到的共用信息的一致的,修改起来也很方便

教学说明

下面的流程先解释细节,然后再展现总体,请耐心看到最后

流程如下

config.yml的样式如下,表示正式环境的信息。

common:
  server_ip: 10.23.167.20:9988
  mip_server_ip: test-mip.ur.com.cn:8768
  common_datas_dir: ./data
month_category_scale:
  # export_db_database: test_ims # 测试
  export_db_database: mimp # 正式
  # export_db_host: 192.168.130.13 # 测试
  export_db_host: 10.20.167.145 # 正式
  # export_db_password: 123456 # 测试
  export_db_password: 654321 # 正式
  export_db_port: 4000
  export_db_user: root
  export_dir: ./month_category_scale/data/export
  labels_dir: ./month_category_scale/data/labels
  log_dir: ./month_category_scale/logs
  log_level: DEBUG
  models_dir: ./month_category_scale/data/models
  ur_bi_dw_auth_mechanism: LDAP
  ur_bi_dw_database: ur_ai_dw
  ur_bi_dw_host: 10.23.167.20
  ur_bi_dw_password: 123456789
  ur_bi_dw_port: 21562
  ur_bi_dw_save_dir: ./month_category_scale/data/ur_bi_dw_data
  ur_bi_dw_user: urbiyetes

然后再建立一个文件,用于读取配置文件,文件名为:config_helper.py

# !pip install PyYaml  # yaml文件的解析去B站看个10分钟教学视频即可学会,在这里不详细解释了import yamldef read_yml(file_path):    with open(file_path, 'r', encoding='utf-8') as file:        return yaml.load(file, Loader=yaml.FullLoader)def get_config(base_dir, logger=None):  # logger 表示日志对象    if not os.path.exists(os.path.join(base_dir, './data/is_local.txt')):        if logger:            logger.info('加载正式环境配置:./config.yml')        else:            print('加载正式环境配置:./config.yml')        config = read_yml(os.path.join(base_dir, './config.yml'))    else:        if logger:            logger.info('加载测试环境配置:./config_dev.yml')        else:            print('加载测试环境配置:./config_dev.yml')        config = read_yml(os.path.join(base_dir, './config_dev.yml'))    return config

改变之后的main.py文件如下

import sysbase_dir = ''sys.path.append(base_dir)from share_args import ShareArgsclass DoSomething():    def working(self, config=None):        print('ShareArgs.args : ',ShareArgs.args)print('config', config)if __name__ == '__main__':    import argparse  # 步骤一:导入模块    # 启动参数    parser = argparse.ArgumentParser()  # 步骤二:创建一个解析对象    # 步骤三:向解析对象中添加你要关注的命令行参数和选项    parser.add_argument('--labels_dir', type=str,        help='标签目录', default='./data/labels')   # help的值就是你对这个参数labels_dir的作用描述    parser.add_argument('--models_dir', type=str,        help='模型跟目录', default='./data/models')  # type的值就是你对这个参数models_dir数据类型的指定    parser.add_argument('--last_dir_name', type=str,        help='文件后序名', default='_seq_month_serial')  # default的值就是你对这个参数last_dir_name设置的默认值    parser.add_argument('--batch_size', type=int,        help='批次大小', default=64)    parser.add_argument('--classes', type=int,        help='聚类数', default=9)    parser.add_argument('--predict_date', type=str,        help='预测年月', default='202101')    parser.add_argument('--last_date', type=str,        help='输入最后年月', default='202001')    parser.add_argument('--only_predict', action="store_true",  # action的值就是你对这个参数only_predict设置了布尔数据类型,并且默认值为True        help='只识别,不训练')    parser.add_argument('--delete_model', action="store_true",        help='先删除模型,仅在训练时使用')    parser.add_argument('--hidden_size', type=int,        help='模型维度', default=128)    parser.add_argument('--learning_rate', type=float,        help='学习速率', default=5e-4)    parser.add_argument('--export_excel', action="store_true",        help='导出excel')    parser.add_argument('--loss_type', type=str,        help='loss类型', default='categorical_crossentropy')    parser.add_argument('--avg_model_num', type=int,        help='平均模型数', default=10)    parser.add_argument('--get_data', action="store_true",        help='重新获取数据')    argparse_args = parser.parse_args()  # 步骤四:进行解析# vars() 函数返回对象object的属性和属性值的字典对象。    args_default = vars(argparse_args)  # 步骤五,将解析值转换成字典对象,然后就可以使用了    # print(type(argparse_args))      # print(argparse_args)    # print('分割线')    # print(type(args_default))    # 是字典数据类型    # print(args_default)  # 将这个字典传入到程序中,就可以拿到这些参数的所有值了    ShareArgs.update(args_default)  # 将很多的默认参数更新到这里来    # DoSomething().working()import config_helper as config_helper    config = config_helper.get_config(base_dir, None)DoSomething().working(config)

结果如下

加载正式环境配置:./config.yml
ShareArgs.args :  {'labels_dir': './data/labels', 'labels_output_dir': './shop_group/month_w_amt/data/labels_output', 'common_datas_dir': './data', 'only_predict': False, 'delete_model': False, 'export_excel': 
False, 'classes': 9, 'batch_size': 64, 'hidden_size': 128, 'max_nrof_epochs': 100, 'learning_rate': 0.0005, 'loss_type': 'categorical_crossentropy', 'avg_model_num': 10, 'steps_per_epoch': 4.0, 'lr_callback_patience': 4, 'lr_callback_cooldown': 1, 'early_stopping_callback_patience': 6, 'get_data': False, 'models_dir': './data/models', 'last_dir_name': '_seq_month_serial', 'predict_date': '202101', 'last_date': '202001'}
config :  {'common': {'server_ip': '10.23.167.20:9988', 'mip_server_ip': 'test-mip.ur.com.cn:8768', 'common_datas_dir': './data'}, 'month_category_scale': {'export_db_database': 'mimp', 'export_db_host': '10.20.167.145', 'export_db_password': 654321, 'export_db_port': 4000, 'export_db_user': 'root', 'export_dir': './month_category_scale/data/export', 'labels_dir': './month_category_scale/data/labels', 'log_dir': './month_category_scale/logs', 'log_level': 'DEBUG', 'models_dir': './month_category_scale/data/models', 'ur_bi_dw_auth_mechanism': 'LDAP', 'ur_bi_dw_database': 'ur_ai_dw', 'ur_bi_dw_host': '10.23.167.20', 'ur_bi_dw_password': 123456789, 'ur_bi_dw_port': 21562, 'ur_bi_dw_save_dir': './month_category_scale/data/ur_bi_dw_data', 'ur_bi_dw_user': 'urbiyetes'}}

关于“Python argparse命令参数与config配置参数怎么使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注编程网行业资讯频道,小编每天都会为大家更新不同的知识点。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯