Keras 2 API 文档 / 优化器 / 学习率调度器 API / PiecewiseConstantDecay

分段常数衰减

[源]

PiecewiseConstantDecay

tf_keras.optimizers.schedules.PiecewiseConstantDecay(boundaries, values, name=None)

一个使用分段常数衰减策略的学习率调度器。

该函数返回一个接受一个参数的可调用对象,用于在传入当前优化器步数时计算分段常数值。这对于在优化器函数的不同调用中改变学习率值很有用。

示例

使用一个学习率,在前 100001 步是 1.0,接下来的 10000 步是 0.5,以及之后所有步都是 0.1。

step = tf.Variable(0, trainable=False)
boundaries = [100000, 110000]
values = [1.0, 0.5, 0.1]
learning_rate_fn = keras.optimizers.schedules.PiecewiseConstantDecay(
    boundaries, values)

# Later, whenever we perform an optimization step, we pass in the step.
learning_rate = learning_rate_fn(step)

你可以将此调度器直接作为学习率传入 tf.keras.optimizers.Optimizer。此学习率调度器也可以使用 tf.keras.optimizers.schedules.serializetf.keras.optimizers.schedules.deserialize 进行序列化和反序列化。

返回

一个接受一个参数的可调用学习率调度器,它接受当前的优化器步数,并输出衰减后的学习率,这是一个与边界张量类型相同的标量 Tensor

接受 step 参数的一参数函数的输出如下:当 step <= boundaries[0] 时为 values[0];当 step > boundaries[0]step <= boundaries[1] 时为 values[1];...;当 step > boundaries[-1] 时为 values[-1]。