PolynomialDecay
PolynomialDecay 类
keras.optimizers.schedules.PolynomialDecay(
initial_learning_rate,
decay_steps,
end_learning_rate=0.0001,
power=1.0,
cycle=False,
name="PolynomialDecay",
)
一个使用多项式衰减计划的 LearningRateSchedule。
通常观察到，单调递减的学习率（其变化程度经过仔细选择）会产生性能更好的模型。此计划将多项式衰减函数应用于优化器步骤，给定提供的 initial_learning_rate，以在给定的 decay_steps 中达到 end_learning_rate。
它需要一个 step 值来计算衰减的学习率。你可以只传递一个后端变量，该变量在每个训练步骤中递增。
该计划是一个 1-arg 可调用对象，当传递当前优化器步骤时，它会生成衰减的学习率。这对于在优化器函数的不同调用中更改学习率值很有用。它计算为
def decayed_learning_rate(step):
step = min(step, decay_steps)
return ((initial_learning_rate - end_learning_rate) *
(1 - step / decay_steps) ^ (power)
) + end_learning_rate
如果 cycle 为 True，则使用 decay_steps 的倍数，第一个倍数大于 step。
def decayed_learning_rate(step):
decay_steps = decay_steps * ceil(step / decay_steps)
return ((initial_learning_rate - end_learning_rate) *
(1 - step / decay_steps) ^ (power)
) + end_learning_rate
你可以将此计划直接传递到 keras.optimizers.Optimizer 中作为学习率。示例
拟合模型，同时在 10000 步内从 0.1 衰减到 0.01，使用
sqrt (即 power=0.5)
...
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate_fn = keras.optimizers.schedules.PolynomialDecay(
starter_learning_rate,
decay_steps,
end_learning_rate,
power=0.5)
model.compile(optimizer=keras.optimizers.SGD(
learning_rate=learning_rate_fn),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, epochs=5)
学习率计划也可以使用 keras.optimizers.schedules.serialize 和 keras.optimizers.schedules.deserialize 进行序列化和反序列化。
参数
- initial_learning_rate: 一个 Python 浮点数。初始学习率。
- decay_steps: 一个 Python 整数。必须为正数。请参阅上面的衰减计算。
- end_learning_rate: 一个 Python 浮点数。最小的最终学习率。
- power: 一个 Python 浮点数。多项式的幂。默认为
1.0。 - cycle: 一个布尔值，指示它是否应在 decay_steps 之外循环。
- name: 字符串。操作的可选名称。默认为
"PolynomialDecay"。
返回值
一个 1-arg 可调用学习率计划，它接受当前的优化器步骤并输出衰减的学习率，一个与 initial_learning_rate 类型相同的标量张量。