文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

基于keras中训练数据的几种方式对比有什么不同

2023-06-15 02:43

关注

这篇文章主要介绍了基于keras中训练数据的几种方式对比有什么不同,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

一、train_on_batch

model.train_on_batch(batchX, batchY)

train_on_batch函数接受单批数据,执行反向传播,然后更新模型参数,该批数据的大小可以是任意的,即,它不需要提供明确的批量大小,属于精细化控制训练模型,大部分情况下我们不需要这么精细,99%情况下使用fit_generator训练方式即可,下面会介绍。

二、fit

model.fit(x_train, y_train, batch_size=32, epochs=10)

fit的方式是一次把训练数据全部加载到内存中,然后每次批处理batch_size个数据来更新模型参数,epochs就不用多介绍了。这种训练方式只适合训练数据量比较小的情况下使用。

三、fit_generator

利用Python的生成器,逐个生成数据的batch并进行训练,不占用大量内存,同时生成器与模型将并行执行以提高效率。例如,该函数允许我们在CPU上进行实时的数据提升,同时在GPU上进行模型训练

接口如下:

fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initial_epoch=0)

generator:生成器函数

steps_per_epoch:整数,当生成器返回steps_per_epoch次数据时,计一个epoch结束,执行下一个epoch。也就是一个epoch下执行多少次batch_size。

epochs:整数,控制数据迭代的轮数,到了就结束训练。

callbacks=None, list,list中的元素为keras.callbacks.Callback对象,在训练过程中会调用list中的回调函数

举例:

def generate_arrays_from_file(path):            while True:                with open(path) as f:                    for line in f:                        # create numpy arrays of input data                        # and labels, from each line in the file                        x1, x2, y = process_line(line)                        yield ({'input_1': x1, 'input_2': x2}, {'output': y}) model.fit_generator(generate_arrays_from_file('./my_folder'),                            steps_per_epoch=10000, epochs=10)

补充:keras.fit_generator()属性及取值

如下所示:

fit_generator(self, generator,                     steps_per_epoch=None,                     epochs=1,                     verbose=1,                     callbacks=None,                     validation_data=None,                     validation_steps=None,                      class_weight=None,                    max_queue_size=10,                       workers=1,                     use_multiprocessing=False,                     shuffle=True,                     initial_epoch=0)

通过Python generator产生一批批的数据用于训练模型。generator可以和模型并行运行,例如,可以使用CPU生成批数据同时在GPU上训练模型。

参数:

generator:一个generator或Sequence实例,为了避免在使用multiprocessing时直接复制数据。

steps_per_epoch:从generator产生的步骤的总数(样本批次总数)。通常情况下,应该等于数据集的样本数量除以批量的大小。

epochs:整数,在数据集上迭代的总数。

works:在使用基于进程的线程时,最多需要启动的进程数量。

use_multiprocessing:布尔值。当为True时,使用基于基于过程的线程。

例如:

datagen = ImageDataGenator(...)model.fit_generator(datagen.flow(x_train, y_train,                                 batch_size=batch_size),                    epochs=epochs,                    validation_data=(x_test, y_test),                    workers=4)

感谢你能够认真阅读完这篇文章,希望小编分享的“基于keras中训练数据的几种方式对比有什么不同”这篇文章对大家有帮助,同时也希望大家多多支持编程网,关注编程网行业资讯频道,更多相关知识等着你来学习!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯