► Keras 3 API 文档 / 优化器 / 学习率调度器 API / 多项式衰减

多项式衰减

`PolynomialDecay` 类

keras.optimizers.schedules.PolynomialDecay(
    initial_learning_rate,
    decay_steps,
    end_learning_rate=0.0001,
    power=1.0,
    cycle=False,
    name="PolynomialDecay",
)

一个使用多项式衰减调度的 LearningRateSchedule。

通常观察到，单调递减且变化程度经过仔细选择的学习率会带来更好的模型性能。该调度器将一个多项式衰减函数应用于优化器步数，给定一个提供的 initial_learning_rate，在给定的 decay_steps 内达到 end_learning_rate。

它需要一个 step 值来计算衰减的学习率。你可以直接传递一个后端变量，并在每个训练步骤中递增它。

该调度器是一个接受一个参数的可调用对象，在传入当前优化器步数时产生一个衰减的学习率。这对于在优化器函数的不同调用之间改变学习率值非常有用。它的计算方式如下：

def decayed_learning_rate(step):
    step = min(step, decay_steps)
    return ((initial_learning_rate - end_learning_rate) *
            (1 - step / decay_steps) ^ (power)
           ) + end_learning_rate

如果 cycle 为 True，则使用 decay_steps 的倍数，第一个大于 step 的倍数。

def decayed_learning_rate(step):
    decay_steps = decay_steps * ceil(step / decay_steps)
    return ((initial_learning_rate - end_learning_rate) *
            (1 - step / decay_steps) ^ (power)
           ) + end_learning_rate

你可以直接将此调度器作为学习率传递给 keras.optimizers.Optimizer。示例

使用以下方式训练模型，在 10000 步内从 0.1 衰减到 0.01

sqrt (即 power=0.5)

...
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate_fn = keras.optimizers.schedules.PolynomialDecay(
    starter_learning_rate,
    decay_steps,
    end_learning_rate,
    power=0.5)

model.compile(optimizer=keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)

该学习率调度器也可以使用 keras.optimizers.schedules.serialize 和 keras.optimizers.schedules.deserialize 进行序列化和反序列化。

参数

initial_learning_rate: Python 浮点数。初始学习率。
decay_steps: Python 整数。必须为正数。参阅上文的衰减计算。
end_learning_rate: Python 浮点数。最小的最终学习率。
power: Python 浮点数。多项式的幂。默认为 1.0。
cycle: 布尔值，是否应在 decay_steps 之后循环。
name: 字符串。操作的可选名称。默认为 "PolynomialDecay"。

返回值

一个接受一个参数的可调用学习率调度器，它接收当前的优化器步数，并输出衰减后的学习率，一个与 initial_learning_rate 类型相同的标量张量。

多项式衰减

PolynomialDecay 类

多项式衰减

PolynomialDecay 类

`PolynomialDecay` 类