文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

pytorch中forwod函数在父类中的调用方式解读

2023-02-17 15:00

关注

pytorch forwod函数在父类中的调用

问题背景

最近在研究Detetron2的代码结构时,发现有些网络代码里面没有forward函数,却照样可以推理,深入挖掘之后,发现其将forword函数都写在了同一个父类里面。

这就牵涉到了下面这个问题,子类中没有forward函数,只有父类中有forward函数,这样能不能正常调用网络。

import torch.nn as nn

class Network1(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self,x):
        return x

class Network2(Network1):
    def __init__(self):
        super().__init__()


data = [1,2,3]
model = Network2().eval()
output = model(data)
print(output)

输出结果如下:

[1,2,3]

pytorch forward方法调用原理

在使用Pytorch自定义网络模型的时候,我们需要继承nn.Module这个类,然后定义forward方法来实现前向转播。

如下图的一个自定义的网络模型

首先该网络模型的初始化方法__init__需要继承父类nn.Module的初始化方法,用语句super().init()实现。

并在初始化方法里面,定义了卷积、BN、激活函数等。接下来定义forward方法,将整个网络连接起来。

有了上面的定义,我们可以实例化一个对象,例如:

fire2 = Fire(96, 128,16,64,64)

实现前向传播,使用 y= fire2(x) 其中x是该网络的输入,y是输出,实现了forward方法的额功能。

这里就会有人感到奇怪,forward作为Fire这个类的方法,使用的时候不应该是 y= fire2.forward(x)吗。

这里为什么一个类的实例可以当做方法直接使用?这是因为这个Fire类继承的父类nn.Module里面定义了__call__方法。

一个类如果定义了__call__方法,则该类的实例就可以作为一个方法那样直接使用。

例如下列代码[1]

class A():
    def __call__(self):
        print('i can be called like a function')
 
a = A()
a()

就会执行print函数,打印其中搞的文字。这里需要区别的是,实例化的时候,类的名称后面括号可以传递参数,例如前面实例化Fire的时候,传递in_channel,out_channel等参数。

但是要利用__call__的特性,是在实例名后面的括号中传递参数,例如上面的例子a(),这里虽然没有参数,但是也可以改变__call__的定义使之可以传递参数。

回到网络模型的内容上来。翻看nn.Module的部分源码[2],可以发现,nn.Module里面果然定义了__call__,并且传递了参数*input。在__call__的定义中国,调用了self.forward。

这里其实还有一个点值得注意。其实nn.Module里面并没有定义forward,但他却调用self.forward,严格来说,他是“想要”调用self.forward。

如果我们没有定义一个类,例如Fire,来继承nn.Module,并且在这个类里面定义forward,那么nn.Module中__call__下面的self.forward就是无效的。

这意味着,父类中__call__下面调用的函数,可以在继承他的子类中定义

下面给出一个简单的例子。

class father():
    def __call__(self):
        self.forward()
        print('I''m the father!')

class child(father):
    def forward(self):
        print('Forward!')
F=father()
C=child()

这里定义了父类father,并定义了继承他的一个子类child。此外还进行了他们的实例化。

显然,在father的__call__方法下面,调用了self.forward,但是没有定义。child在继承了father之后,定义了forward。

首先,这段代码不会报错,即使father的__call__下面的self.forward并没有定义,这也是前面我说的,虽然没有定义forward,但是可以理解为他“想要”调用self.forward。

那么在child记成了father之后,进行了forward的定义,这使得child本身可以调用forward。

在上面这段代码的基础上,如果我们执行F(),汇报下面这一段错误,这解释了forward没有定义,只是“想要”调用self.forward。

如果我们执行C(),则如下图输出。

显然,在child中补充了forward的定义,就可以成功调用。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯