Nadam
类keras.optimizers.Nadam(
learning_rate=0.001,
beta_1=0.9,
beta_2=0.999,
epsilon=1e-07,
weight_decay=None,
clipnorm=None,
clipvalue=None,
global_clipnorm=None,
use_ema=False,
ema_momentum=0.99,
ema_overwrite_frequency=None,
loss_scale_factor=None,
gradient_accumulation_steps=None,
name="nadam",
**kwargs
)
实现 Nadam 算法的优化器。
Adam 本质上是带有动量的 RMSprop,而 Nadam 则是带有 Nesterov 动量的 Adam。
参数
keras.optimizers.schedules.LearningRateSchedule
实例,或一个不接受参数并返回实际值的可调用对象。学习率。默认为 0.001
。0.9
。0.999
。1e-7
。False
。如果为 True
,则应用指数移动平均 (EMA)。EMA 包括计算模型权重的指数移动平均(随着每次训练批次后权重的变化),并定期使用它们的移动平均覆盖权重。use_ema=True
时使用。这是计算模型权重 EMA 时使用的动量:new_average = ema_momentum * old_average + (1 - ema_momentum) * current_variable_value
。use_ema=True
时使用。每隔 ema_overwrite_frequency
次迭代,我们会使用其移动平均覆盖模型变量。如果为 None,优化器在训练过程中不会覆盖模型变量,你需要通过调用 optimizer.finalize_variable_values()
(这会原地更新模型变量) 在训练结束时显式覆盖变量。使用内置的 fit()
训练循环时,这会在最后一个 epoch 后自动发生,你无需做任何事情。None
。如果为浮点数,在计算梯度之前,损失将乘以缩放因子;在更新变量之前,梯度将乘以缩放因子的倒数。这对于防止混合精度训练期间的下溢非常有用。另外,keras.optimizers.LossScaleOptimizer
将自动设置损失缩放因子。None
。如果为整数,模型和优化器变量不会在每个步骤更新;而是每隔 gradient_accumulation_steps
步骤更新一次,使用自上次更新以来梯度的平均值。这称为“梯度累积”。当你的批次大小非常小时,这有助于减少每个更新步骤的梯度噪声。EMA 频率将参考“累积”迭代值(优化器步骤 // gradient_accumulation_steps)。学习率调度器将参考“实际”迭代值(优化器步骤)。参考