InverseTimeDecay 类tf_keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate, decay_steps, decay_rate, staircase=False, name=None
)
一个使用逆时间衰减调度的学习率调度器。
训练模型时，随着训练的进行降低学习率通常很有用。此调度器根据提供的初始学习率，对优化器步数应用逆衰减函数。它需要一个 step 值来计算衰减的学习率。你可以直接传递一个 TensorFlow 变量，并在每个训练步中递增它。
该调度器是一个接受1个参数的可调用对象，当传入当前优化器步数时，它会产生衰减后的学习率。这对于在优化器函数的不同调用中改变学习率值很有用。计算公式如下：
def decayed_learning_rate(step):
return initial_learning_rate / (1 + decay_rate * step / decay_step)
或者，如果 staircase 为 True，则计算公式如下：
def decayed_learning_rate(step):
return initial_learning_rate / (1 + decay_rate * floor(step / decay_step))
你可以将该调度器直接传递给一个 tf.keras.optimizers.Optimizer 作为学习率。示例
训练一个 TF-Keras 模型，其中学习率按 1/t 以 0.5 的衰减率衰减
...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
initial_learning_rate, decay_steps, decay_rate)
model.compile(optimizer=tf.keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
返回值
一个接受1个参数的可调用学习率调度器，它接受当前优化器步数，并输出衰减后的学习率，这是一个标量 Tensor，其类型与 initial_learning_rate 相同。