InverseTimeDecay 类keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate,
decay_steps,
decay_rate,
staircase=False,
name="InverseTimeDecay",
)
使用反时间衰减计划的 LearningRateSchedule。
在训练模型时，通常需要在训练过程中降低学习率。此调度会在给定初始学习率的情况下，在优化器步长上应用反向衰减函数。它需要一个 step 值来计算衰减后的学习率。您可以传递一个在每次训练步骤中递增的后端变量。
该调度是一个单参数可调用对象，当传入当前优化器步骤时，它会产生一个衰减的学习率。这对于在优化器函数不同调用之间更改学习率值非常有用。它的计算方式如下：
def decayed_learning_rate(step):
return initial_learning_rate / (1 + decay_rate * step / decay_step)
或者，如果 staircase 为 True，则为
def decayed_learning_rate(step):
return initial_learning_rate /
(1 + decay_rate * floor(step / decay_step))
您可以将此调度直接作为学习率传递给 keras.optimizers.Optimizer。示例
在衰减 1/t 且衰减率为 0.5 时拟合 Keras 模型
...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate, decay_steps, decay_rate)
model.compile(optimizer=keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
参数
"InverseTimeDecay"。返回
一个接受一个参数的可调用学习率调度，该参数为当前的优化器步数，并输出衰减后的学习率，一个与 initial_learning_rate 类型相同的标量张量。