► Keras 3 API 文档 / 优化器
优化器
可用的优化器
与 compile() & fit() 一起使用
优化器是编译 Keras 模型所需的两个参数之一
import keras
from keras import layers
model = keras.Sequential()
model.add(layers.Dense(64, kernel_initializer='uniform', input_shape=(10,)))
model.add(layers.Activation('softmax'))
opt = keras.optimizers.Adam(learning_rate=0.01)
model.compile(loss='categorical_crossentropy', optimizer=opt)
您可以在将优化器传递给 model.compile() 之前实例化它，如上例所示，或者您可以通过其字符串标识符传递它。在后一种情况下，将使用优化器的默认参数。
# pass optimizer by name: default parameters will be used
model.compile(loss='categorical_crossentropy', optimizer='adam')
学习率衰减/调度
您可以使用 学习率调度 来调节优化器的学习率如何随时间变化
lr_schedule = keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate=1e-2,
decay_steps=10000,
decay_rate=0.9)
optimizer = keras.optimizers.SGD(learning_rate=lr_schedule)
查看 学习率调度 API 文档 以获取可用调度的列表。
基础优化器 API
这些方法和属性对所有 Keras 优化器都是通用的。
Optimizer 类
keras.optimizers.Optimizer()
抽象优化器基类。
如果您打算创建自己的优化算法，请从这个类继承并覆盖以下方法
build：创建与优化器相关的变量，例如 SGD 优化器中的动量变量。update_step：实现优化器的变量更新逻辑。get_config：优化器的序列化。
示例
class SGD(Optimizer):
def __init__(self, **kwargs):
super().__init__(**kwargs)
self.momentum = 0.9
def build(self, variables):
super().build(variables)
self.momentums = []
for variable in variables:
self.momentums.append(
self.add_variable_from_reference(
reference_variable=variable, name="momentum"
)
)
def update_step(self, gradient, variable, learning_rate):
learning_rate = ops.cast(learning_rate, variable.dtype)
gradient = ops.cast(gradient, variable.dtype)
m = self.momentums[self._get_variable_index(variable)]
self.assign(
m,
ops.subtract(
ops.multiply(m, ops.cast(self.momentum, variable.dtype)),
ops.multiply(gradient, learning_rate),
),
)
self.assign_add(variable, m)
def get_config(self):
config = super().get_config()
config.update(
{
"momentum": self.momentum,
"nesterov": self.nesterov,
}
)
return config
apply_gradients 方法
Optimizer.apply_gradients(grads_and_vars)
variables 属性
keras.optimizers.Optimizer.variables