文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

使用tensorflow2自定义损失函数需要注意什么

2023-06-28 03:25

关注

小编给大家分享一下使用tensorflow2自定义损失函数需要注意什么,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

Keras的核心原则是逐步揭示复杂性,可以在保持相应的高级便利性的同时,对操作细节进行更多控制。当我们要自定义fit中的训练算法时,可以重写模型中的train_step方法,然后调用fit来训练模型。

这里以tensorflow2官网中的例子来说明:

import numpy as npimport tensorflow as tffrom tensorflow import kerasx = np.random.random((1000, 32))y = np.random.random((1000, 1))class CustomModel(keras.Model):   tf.random.set_seed(100)   def train_step(self, data):       # Unpack the data. Its structure depends on your model and       # on what you pass to `fit()`.       x, y = data       with tf.GradientTape() as tape:           y_pred = self(x, training=True)  # Forward pass           # Compute the loss value           # (the loss function is configured in `compile()`)           loss = self.compiled_loss(y, y_pred, regularization_losses=self.losses)       # Compute gradients       trainable_vars = self.trainable_variables       gradients = tape.gradient(loss, trainable_vars)       # Update weights       self.optimizer.apply_gradients(zip(gradients, trainable_vars))       # Update metrics (includes the metric that tracks the loss)       self.compiled_metrics.update_state(y, y_pred)       # Return a dict mapping metric names to current value       return {m.name: m.result() for m in self.metrics}   # Construct and compile an instance of CustomModelinputs = keras.Input(shape=(32,))outputs = keras.layers.Dense(1)(inputs)model = CustomModel(inputs, outputs)model.compile(optimizer="adam", loss=tf.losses.MSE, metrics=["mae"])# Just use `fit` as usualmodel.fit(x, y, epochs=1, shuffle=False)32/32 [==============================] - 0s 1ms/step - loss: 0.2783 - mae: 0.4257

这里的loss是tensorflow库中实现了的损失函数,如果想自定义损失函数,然后将损失函数传入model.compile中,能正常按我们预想的work吗?

答案竟然是否定的,而且没有错误提示,只是loss计算不会符合我们的预期。

def custom_mse(y_true, y_pred):   return tf.reduce_mean((y_true - y_pred)**2, axis=-1)a_true = tf.constant([1., 1.5, 1.2])a_pred = tf.constant([1., 2, 1.5])custom_mse(a_true, a_pred)tf.losses.MSE(a_true, a_pred)

以上结果证实了我们自定义loss的正确性,下面我们直接将自定义的loss置入compile中的loss参数中,看看会发生什么。

my_model = CustomModel(inputs, outputs)my_model.compile(optimizer="adam", loss=custom_mse, metrics=["mae"])my_model.fit(x, y, epochs=1, shuffle=False)32/32 [==============================] - 0s 820us/step - loss: 0.1628 - mae: 0.3257

我们看到,这里的loss与我们与标准的tf.losses.MSE明显不同。这说明我们自定义的loss以这种方式直接传递进model.compile中,是完全错误的操作。

正确运用自定义loss的姿势是什么呢?下面揭晓。

loss_tracker = keras.metrics.Mean(name="loss")mae_metric = keras.metrics.MeanAbsoluteError(name="mae")class MyCustomModel(keras.Model):   tf.random.set_seed(100)   def train_step(self, data):       # Unpack the data. Its structure depends on your model and       # on what you pass to `fit()`.       x, y = data       with tf.GradientTape() as tape:           y_pred = self(x, training=True)  # Forward pass           # Compute the loss value           # (the loss function is configured in `compile()`)           loss = custom_mse(y, y_pred)           # loss += self.losses       # Compute gradients       trainable_vars = self.trainable_variables       gradients = tape.gradient(loss, trainable_vars)       # Update weights       self.optimizer.apply_gradients(zip(gradients, trainable_vars))              # Compute our own metrics       loss_tracker.update_state(loss)       mae_metric.update_state(y, y_pred)       return {"loss": loss_tracker.result(), "mae": mae_metric.result()}      @property   def metrics(self):       # We list our `Metric` objects here so that `reset_states()` can be       # called automatically at the start of each epoch       # or at the start of `evaluate()`.       # If you don't implement this property, you have to call       # `reset_states()` yourself at the time of your choosing.       return [loss_tracker, mae_metric]   # Construct and compile an instance of CustomModelinputs = keras.Input(shape=(32,))outputs = keras.layers.Dense(1)(inputs)my_model_beta = MyCustomModel(inputs, outputs)my_model_beta.compile(optimizer="adam")# Just use `fit` as usualmy_model_beta.fit(x, y, epochs=1, shuffle=False)32/32 [==============================] - 0s 960us/step - loss: 0.2783 - mae: 0.4257

终于,通过跳过在 compile() 中传递损失函数,而在 train_step 中手动完成所有计算内容,我们获得了与之前默认tf.losses.MSE完全一致的输出,这才是我们想要的结果。

以上是“使用tensorflow2自定义损失函数需要注意什么”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网行业资讯频道!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯