指数衰减

[源]

ExponentialDecay 类

keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps,
    decay_rate,
    staircase=False,
    name="ExponentialDecay",
)

一个使用指数衰减调度的 LearningRateSchedule。

训练模型时，随着训练的进行降低学习率通常很有用。该调度器根据提供的初始学习率，对优化器步应用指数衰减函数。

该调度器是一个接受一个参数的可调用对象，在传入当前优化器步时，产生一个衰减后的学习率。这对于在优化器函数的不同调用中改变学习率值很有用。其计算方式为

def decayed_learning_rate(step):
    return initial_learning_rate * decay_rate ^ (step / decay_steps)

如果参数 staircase 为 True，则 step / decay_steps 为整数除法，并且衰减后的学习率遵循阶梯函数。

你可以将此调度器直接作为学习率传入 keras.optimizers.Optimizer。示例

训练 Keras 模型时，每 100000 步进行一次衰减，衰减基数

为 0.96

initial_learning_rate = 0.1
lr_schedule = keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=100000,
    decay_rate=0.96,
    staircase=True)

model.compile(optimizer=keras.optimizers.SGD(learning_rate=lr_schedule),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

学习率调度器也可以使用 keras.optimizers.schedules.serialize 和 keras.optimizers.schedules.deserialize 进行序列化和反序列化。

参数

• initial_learning_rate: 一个 Python 浮点数。初始学习率。
• decay_steps: 一个 Python 整数。必须为正。参见上面的衰减计算方式。
• decay_rate: 一个 Python 浮点数。衰减率。
• staircase: 布尔值。如果为 True，则在离散间隔处衰减学习率。
• name: 字符串。操作的可选名称。默认为 "ExponentialDecay"。

返回值

一个接受一个参数的可调用学习率调度器，它接收当前优化器步并输出衰减后的学习率，这是一个与 initial_learning_rate 类型相同的标量张量。