指数衰减
ExponentialDecay 类
tf_keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate, decay_steps, decay_rate, staircase=False, name=None
)
一个使用指数衰减计划的 LearningRateSchedule。
在训练模型时，通常在训练过程中降低学习率很有用。此计划将指数衰减函数应用于优化器步骤，给定提供的初始学习率。
该计划是一个 1-arg 可调用对象，当传递当前优化器步骤时，它会产生衰减的学习率。这对于在优化器函数的不同调用中更改学习率值很有用。它的计算公式为：
def decayed_learning_rate(step):
return initial_learning_rate * decay_rate ^ (step / decay_steps)
如果参数 staircase 为 True，则 step / decay_steps 是整数除法，衰减的学习率遵循阶梯函数。
您可以将此计划直接传递到 tf.keras.optimizers.Optimizer 作为学习率。示例
在拟合 TF-Keras 模型时，以 0.96 的基数每 100000 步衰减
的基数为 0.96
initial_learning_rate = 0.1
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate,
decay_steps=100000,
decay_rate=0.96,
staircase=True)
model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=lr_schedule),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
学习率计划还可以使用 tf.keras.optimizers.schedules.serialize 和 tf.keras.optimizers.schedules.deserialize 进行序列化和反序列化。
返回
一个 1-arg 可调用学习率计划，它接受当前的优化器步骤并输出衰减的学习率，一个与 initial_learning_rate 类型相同的标量 Tensor。