反时限衰减
InverseTimeDecay 类
keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate,
decay_steps,
decay_rate,
staircase=False,
name="InverseTimeDecay",
)
一种使用反时限衰减调度的 LearningRateSchedule。
当训练模型时，随着训练的进行降低学习率通常很有用。此调度将反衰减函数应用于优化器步骤，并给定提供的初始学习率。它需要一个 step 值来计算衰减的学习率。您可以直接传递一个后端变量，在每个训练步骤中对其进行递增。
该调度是一个 1 参数可调用对象，当传递当前优化器步骤时，它会生成衰减的学习率。这对于在优化器函数的不同调用之间更改学习率值非常有用。它计算为
def decayed_learning_rate(step):
return initial_learning_rate / (1 + decay_rate * step / decay_step)
或者，如果 staircase 为 True，则计算为
def decayed_learning_rate(step):
return initial_learning_rate /
(1 + decay_rate * floor(step / decay_step))
您可以将此调度直接传递到 keras.optimizers.Optimizer 中作为学习率。 示例
当以 0.5 的速率衰减 1/t 时，拟合 Keras 模型
...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate, decay_steps, decay_rate)
model.compile(optimizer=keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
参数
- initial_learning_rate: Python 浮点数。初始学习率。
- decay_steps: 应用衰减的频率。
- decay_rate: Python 数字。衰减率。
- staircase: 是否以离散阶梯状（而不是连续方式）应用衰减。
- name: 字符串。操作的可选名称。默认为
"InverseTimeDecay"。
返回值
一个 1 参数可调用学习率调度，它接受当前优化器步骤并输出衰减的学习率，一个与 initial_learning_rate 类型相同的标量张量。