文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Pytorch模型参数的保存和加载

2023-03-11 17:06

关注

一、前言

在模型训练完成后,我们需要保存模型参数值用于后续的测试过程。由于保存整个模型将耗费大量的存储,故推荐的做法是只保存参数,使用时只需在建好模型的基础上加载。

通常来说,保存的对象包括网络参数值、优化器参数值、epoch值等。本文将简单介绍保存和加载模型参数的方法,同时也给出保存整个模型的方法供大家参考。

二、参数保存

在这里我们使用 torch.save() 函数保存模型参数:

import torch
path = './model.pth'
torch.save(model.state_dict(), path)

model——指定义的模型实例变量,如model=net( )

state_dict()——state_dict( )是一个可以轻松地保存、更新、修改和恢复的python字典对象, 对于model来说,表示模型的每一层的权重及偏置等参数信息;对于 optimizer 来说,其包含了优化器的状态以及被使用的超参数(如lr, momentum,weight_decay等)

path——path是保存参数的路径,一般设置为 path='./model.pth' , path='./model.pkl'等形式。

此外,如果想保存某一次训练采用的optimizer、epochs等信息,可将这些信息组合起来构成一个字典保存起来:

import torch
path = './model.pth'
state = {'model': model.state_dict(), 'optimizer': optimizer.state_dict(), 'epoch': epoch}
torch.save(state, path)

三、参数的加载

使用 load_state_dict()函数加载参数到模型中, 当仅保存了模型参数,而没有optimizer、epochs等信息时:

model.load_state_dict(torch.load(path))

model——事先定义好的跟原模型一致的模型

path——之前保存的模型参数文件

如若保存了optimizer、epochs等信息,我们这样载入信息:

# 使用torch.load()函数将文件中字典信息载入 state_dict 变量中
state_dict = torch.load(path)
# 分布加载参数到模型和优化器
model.load_state_dict(state_dict['model'])
optimizer.load_state_dict(state_dict['optimizer'])
epoch = state_dict(['epoch'])

我们还可以在每n个epoch后保存一次参数,以观察不同迭代次数模型的表现此时我们可设置不同的path,如 path='./model' + str(epoch) +'.pth',这样,不同epoch的参数就能保存在不同的文件中。

四、保存和加载整个模型

使用上文提到的方法即可:

torch.save(model, path)
model = torch.load(path)

五、总结

pytorch中state_dict()和load_state_dict()函数配合使用可以实现状态的获取与重载,load()和save()函数配合使用可以实现参数的存储与读取。掌握对应的函数使用方法就可以游刃有余地进行运用。

到此这篇关于Pytorch模型参数的保存和加载的文章就介绍到这了,更多相关Pytorch模型参数保存内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯