1(a). 用于构建输入管道的tf.data API
从张量构建管道：
- >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
- >>> iter(dataset).next().numpy()
- 8
Batch和Shuffle：
- # Shuffle
- >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6)
- >>> iter(dataset).next().numpy()
- 0
- # Batch
- >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).batch(2)
- >>> iter(dataset).next().numpy()
- array([8, 3], dtype=int32)
- # Shuffle and Batch
- >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).shuffle(6).batch(2)
- >>> iter(dataset).next().numpy()
- array([3, 0], dtype=int32)
压缩两个Datsets：
- >>> dataset0 = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
- >>> dataset1 = tf.data.Dataset.from_tensor_slices([1, 2, 3, 4, 5, 6])
- >>> dataset = tf.data.Dataset.zip((dataset0, dataset1))
- >>> iter(dataset).next()
- (<tf.Tensor: shape=(), dtype=int32, numpy=8>, <tf.Tensor: shape=(), dtype=int32, numpy=1>)
映射外部函数：
- def into_2(num):
- return num * 2
- >>> dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1]).map(into_2)
- >>> iter(dataset).next().numpy()
- 16
1(b). ImageDataGenerator
这是tensorflow.keras API的最佳特性之一。ImageDataGenerator可以在batching和预处理中实时生成数据集切片和数据增强。
生成器允许直接从目录或dataframes中访问数据流。
关于ImageDataGenerator中的数据增强的一个误解是，它会将更多数据添加到现有数据集中。虽然这是数据增强的实际定义，但在ImageDataGenerator中，数据集中的图像在训练中按不同的步骤动态转换，以便模型可以在它没有看到有噪声的数据上进行训练。
- train_datagen = ImageDataGenerator(
- rescale=1./255,
- shear_range=0.2,
- zoom_range=0.2,
- horizontal_flip=True
- )
在这里，对所有样本进行重缩放(用于归一化)，而其他参数则用于增强。
- train_generator = train_datagen.flow_from_directory(
- 'data/train',
- target_size=(150, 150),
- batch_size=32,
- class_mode='binary'
- )
我们为实时数据流指定目录。这也可以使用dataframes来完成。
- train_generator = flow_from_dataframe(
- dataframe,
- x_col='filename',
- y_col='class',
- class_mode='categorical',
- batch_size=32
- )
x_col参数定义了图像的完整路径，y_col参数定义了用于分类的label列。
尽管需要指定steps_per_epoch参数，它实际上是number_of_samples // batch_size。
- model.fit(
- train_generator,
- validation_data=val_generator,
- epochs=EPOCHS,
- steps_per_epoch=(num_samples // batch_size),
- validation_steps=(num_val_samples // batch_size)
- )
2. 使用tf.image进行数据增强
在数据不足的情况下，对数据进行更改并将其作为单独的数据点，是在较少数据的情况下进行训练的非常有效的方法。
tf.image API具有用于转换图像的工具，请看以下Python示例：
- flipped = tf.image.flip_left_right(image)
- visualise(image, flipped)
- saturated = tf.image.adjust_saturation(image, 5)
- visualise(image, saturated)
- rotated = tf.image.rot90(image)
- visualise(image, rotated)
- cropped = tf.image.central_crop(image, central_fraction=0.5)
- visualise(image, cropped)
3. TensorFlow数据集
- pip install tensorflow-datasets
这是一个非常有用的库，因为它包含了tensorflow收集的知名数据集。
- import tensorflow_datasets as tfds
- mnist_data = tfds.load("mnist")
- mnist_train, mnist_test = mnist_data["train"], mnist_data["test"]
- assert isinstance(mnist_train, tf.data.Dataset)
在tensorflow-datasets中可用的数据集的详细列表可以在文档的Datasets页面上找到。
音频、图像、图像分类、对象检测、结构化、摘要、文本、翻译、视频都是tfds提供的类型。
4. 使用预训练的模型进行迁移学习
迁移学习是机器学习领域的一种新潮流，TensorFlow提供了经过基准测试的预训练模型，可以很容易地针对所需的用例进行扩展。
- base_model = tf.keras.applications.MobileNetV2(
- input_shape=IMG_SHAPE,
- include_top=False,
- weights='imagenet'
- )
可以使用附加层或不同的模型轻松扩展这个base_model。如：
- model = tf.keras.Sequential([
- base_model,
- global_average_layer,
- prediction_layer
- ])
有关tf.keras.applications下其他模型或模块的详细列表，请参阅docs页面。
5. Estimators
Estimator是TensorFlow完整模型的高级表示，其设计目的是易于缩放和异步训练。
内置的estimators提供了非常高级的模型抽象，因此您可以直接专注于训练模型，而不必担心其复杂性。例如：
- linear_est = tf.estimator.LinearClassifier(
- feature_columnsfeature_columns=feature_columns
- )
- linear_est.train(train_input_fn)
- result = linear_est.evaluate(eval_input_fn)
TensorFlow有许多内置的estimators，包括LinearRegressor，BoostedTreesClassifier等。Estimators也可以自定义。
6. 自定义层
神经网络是已知的多层网络，其中的层可以是不同的类型。TensorFlow包含许多预定义层(例如Dense，LSTM等)。但是对于更复杂的架构，层的逻辑可能会复杂得多。TensorFlow允许构建自定义层，这可以通过对tf.keras.layers.Layer类进行子类化来完成。
- class CustomDense(tf.keras.layers.Layer):
- def __init__(self, num_outputs):
- super(CustomDense, self).__init__()
- self.num_outputs = num_outputs
-
- def build(self, input_shape):
- selfself.kernel = self.add_weight(
- "kernel",
- shape=[int(input_shape[-1]),
- self.num_outputs]
- )
-
- def call(self, input):
- return tf.matmul(input, self.kernel)
实现自定义层的最佳方法是扩展tf.keras.Layer类：
- __init__，可以进行所有与输入无关的初始化。
- build，您可以了解输入张量的形状，并可以进行其余的初始化。
- call，进行forward计算。
尽管可以在__init__中完成核初始化，但最好在build中进行初始化，否则，您将必须在新层创建的每个实例上显式指定input_shape。
7. 定制训练
tf.keras序列和模型API使训练模型更容易。但是，大多数时候在训练复杂模型时会使用自定义损失函数。此外，模型训练也可以不同于缺省值(例如，将梯度分别应用于不同的模型组件)。
TensorFlow的自动微分有助于高效地计算梯度。Python示例如下：
- def train(model, inputs, outputs, learning_rate):
- with tf.GradientTape() as t:
- # Computing Losses from Model Prediction
- current_loss = loss(outputs, model(inputs))
- # Gradients for Trainable Variables with Obtained Losses
- dW, db = t.gradient(current_loss, [model.W, model.b])
- # Applying Gradients to Weights
- model.W.assign_sub(learning_rate * dW)
- model.b.assign_sub(learning_rate * db)
可以针对多个epochs重复此循环，并且可以根据用例使用其他自定义的设置。
8. 检查点
保存TensorFlow模型可以有两种类型：
- SavedModel：保存模型的完整状态以及所有参数。
- model.save_weights('checkpoint')
检查点捕获机器学习模型使用的所有参数的精确值。使用Sequential API或Model API构建的机器学习模型可以简单地以SavedModel格式进行保存。
但是，对于自定义模型，需要设置检查点。
检查点不包含模型定义的计算的任何描述，因此通常只有在源代码可用时才有用。
保存检查点：
- checkpoint_path = “save_path”
- # Defining a Checkpoint
- ckpt = tf.train.Checkpoint(modelmodel=model, optimizeroptimizer=optimizer)
- # Creating a CheckpointManager Object
- ckpt_manager = tf.train.CheckpointManager(ckpt, checkpoint_path, max_to_keep=5)
- # Saving a Model
- ckpt_manager.save()
加载检查点：
TensorFlow通过遍历具有命名边的有向图(从加载的对象开始)，将变量匹配到检查点值。
- if ckpt_manager.latest_checkpoint:
- ckpt.restore(ckpt_manager.latest_checkpoint)
9. Keras Tuner
这是TensorFlow中的一个相当新的功能。
- !pip install keras-tuner
超参数调优是挑选参数的过程，这些参数定义了机器学习模型的配置，这些是特征工程和机器学习模型性能的决定因素。
- # model_builder is a function that builds a model and returns it
- tuner = kt.Hyperband(
- model_builder,
- objective='val_accuracy',
- max_epochs=10,
- factor=3,
- directory='my_dir',
- project_name='intro_to_kt'
- )
除了HyperBand, BayesianOptimization和RandomSearch也可用于调优。
- tuner.search(
- img_train, label_train,
- epochs = 10,
- validation_data=(img_test,label_test),
- callbacks=[ClearTrainingOutput()]
- )
-
- # Get the optimal hyperparameters
- best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]
然后，利用最优超参数对模型进行训练：
- model = tuner.hypermodel.build(best_hps)
- model.fit(
- img_train,
- label_train,
- epochs=10,
- validation_data=(img_test, label_test)
- )
10. 分布式训练
如果你有多个GPU，并希望通过将训练分散在多个GPU上来优化训练，TensorFlow的各种分布式训练策略能够优化GPU的使用，并为你在GPU上进行训练。
tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢?
- 所有变量和模型图都复制到副本上。
- 输入均匀地分布在各个副本上。
- 每个副本都为其接收的输入计算损失和梯度。
- 梯度是通过对所有副本求和来同步的。
- 同步之后，对每个副本上的变量副本进行相同的更新。
- strategy = tf.distribute.MirroredStrategy()
- with strategy.scope():
- model = tf.keras.Sequential([
- tf.keras.layers.Conv2D(
- 32, 3, activation='relu', input_shape=(28, 28, 1)
- ),
- tf.keras.layers.MaxPooling2D(),
- tf.keras.layers.Flatten(),
- tf.keras.layers.Dense(64, activation='relu'),
- tf.keras.layers.Dense(10)
- ])
-
- model.compile(
- loss="sparse_categorical_crossentropy",
- optimizer="adam",
- metrics=['accuracy']
- )
最后
TensorFlow足以构建机器学习管道的几乎所有组件。本教程的主要内容是介绍TensorFlow提供的各种api，以及如何使用这些API的快速指南。
![[[326673]]](https://s5.51cto.com/oss/202005/19/871f55c109c78aea9184f204dbe8ef98.jpg){kind=link}
