compile()
& fit()
一起使用优化器是编译 Keras 模型所需的两个参数之一
import keras
from keras import layers
model = keras.Sequential()
model.add(layers.Dense(64, kernel_initializer='uniform', input_shape=(10,)))
model.add(layers.Activation('softmax'))
opt = keras.optimizers.Adam(learning_rate=0.01)
model.compile(loss='categorical_crossentropy', optimizer=opt)
您可以在将优化器传递给 model.compile()
之前实例化它,如上例所示,或者您可以通过其字符串标识符传递它。在后一种情况下,将使用优化器的默认参数。
# pass optimizer by name: default parameters will be used
model.compile(loss='categorical_crossentropy', optimizer='adam')
您可以使用 学习率调度 来调节优化器的学习率如何随时间变化
lr_schedule = keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate=1e-2,
decay_steps=10000,
decay_rate=0.9)
optimizer = keras.optimizers.SGD(learning_rate=lr_schedule)
查看 学习率调度 API 文档 以获取可用调度的列表。
这些方法和属性对所有 Keras 优化器都是通用的。
Optimizer
类keras.optimizers.Optimizer()
抽象优化器基类。
如果您打算创建自己的优化算法,请继承此类并覆盖以下方法
build
:创建与优化器相关的变量,例如 SGD 优化器中的动量变量。update_step
:实现优化器的变量更新逻辑。get_config
:优化器的序列化。示例
class SGD(Optimizer):
def __init__(self, **kwargs):
super().__init__(**kwargs)
self.momentum = 0.9
def build(self, variables):
super().build(variables)
self.momentums = []
for variable in variables:
self.momentums.append(
self.add_variable_from_reference(
reference_variable=variable, name="momentum"
)
)
def update_step(self, gradient, variable, learning_rate):
learning_rate = ops.cast(learning_rate, variable.dtype)
gradient = ops.cast(gradient, variable.dtype)
m = self.momentums[self._get_variable_index(variable)]
self.assign(
m,
ops.subtract(
ops.multiply(m, ops.cast(self.momentum, variable.dtype)),
ops.multiply(gradient, learning_rate),
),
)
self.assign_add(variable, m)
def get_config(self):
config = super().get_config()
config.update(
{
"momentum": self.momentum,
"nesterov": self.nesterov,
}
)
return config
apply_gradients
方法Optimizer.apply_gradients(grads_and_vars)
variables
属性keras.optimizers.Optimizer.variables