Keras 3 API 文档
模型API 层API 回调API 操作API 优化器 SGD RMSprop Adam AdamW Adadelta Adagrad Adamax Adafactor Nadam Ftrl Lion Lamb Loss Scale Optimizer 学习率调度API Muon 指标 损失 数据加载 内置小型数据集 Keras Applications 混合精度 多设备分布 RNG API 重构 工具
Keras 2 API 文档
► Keras 3 API文档 / 优化器 / Adamax

Adamax

[源代码]

Adamax 类

keras.optimizers.Adamax(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name="adamax",
    **kwargs
)

实现Adamax算法的优化器。

Adamax是Adam的一个变体，基于无穷范数，是一种一阶梯度优化方法。由于其能够根据数据特性调整学习率，因此适用于学习时变过程，例如具有动态变化的噪声条件的语音数据。默认参数遵循论文中的参数（参见下面的参考文献）。

初始化

m = 0  # Initialize initial 1st moment vector
u = 0  # Initialize the exponentially weighted infinity norm
t = 0  # Initialize timestep

参数w的更新规则，其中梯度为g，如论文第7.1节末尾所述（参见参考文献部分）。

t += 1
m = beta1 * m + (1 - beta) * g
u = max(beta2 * u, abs(g))
current_lr = learning_rate / (1 - beta1 ** t)
w = w - current_lr * m / (u + epsilon)

参数

  • learning_rate：一个浮点数，一个 keras.optimizers.schedules.LearningRateSchedule 实例，或一个不带参数并返回实际使用值的可调用对象。学习率。默认为 0.001。
  • beta_1：float值或常量float张量。用于一阶矩估计的指数衰减率。
  • beta_2：float值或常量float张量。用于指数加权无穷范数的指数衰减率。
  • epsilon：用于数值稳定的小常数。name：字符串。优化器创建的动量累加器权重使用的名称。
  • weight_decay：浮点数。如果设置，则应用权重衰减。
  • clipnorm：浮点数。如果设置，每个权重的梯度将单独裁剪，使其范数不高于此值。
  • clipvalue：浮点数。如果设置，每个权重的梯度将被裁剪，使其不高于此值。
  • global_clipnorm：浮点数。如果设置，所有权重的梯度将被裁剪，使其全局范数不高于此值。
  • use_ema：布尔值，默认为 False。如果为 True，则应用指数移动平均 (EMA)。EMA 包括在模型权重（随着训练批次更新）上计算权重的指数移动平均，并定期用其移动平均值覆盖权重。
  • ema_momentum：浮点数，默认为 0.99。仅当 use_ema=True 时使用。这是在计算模型权重 EMA 时使用的动量：new_average = ema_momentum * old_average + (1 - ema_momentum) * current_variable_value。
  • ema_overwrite_frequency：整数或 None，默认为 None。仅当 use_ema=True 时使用。每进行 ema_overwrite_frequency 步迭代，我们就用其移动平均值覆盖模型变量。如果为 None，优化器不会在训练中间覆盖模型变量，您需要通过调用 optimizer.finalize_variable_values()（该函数会就地更新模型变量）来显式覆盖变量。使用内置的 fit() 训练循环时，这会在最后一个 epoch 之后自动完成，您无需执行任何操作。
  • loss_scale_factor：浮点数或 None。如果是浮点数，将用该缩放因子乘以损失值，然后再计算梯度，并将梯度的逆乘以缩放因子，然后再更新变量。有助于防止混合精度训练期间的下溢。或者，keras.optimizers.LossScaleOptimizer 会自动设置损失缩放因子。
  • gradient_accumulation_steps：整数或 None。如果为整数，模型和优化器变量将不会在每一步更新；而是每 gradient_accumulation_steps 步更新一次，使用自上次更新以来的平均梯度值。这被称为“梯度累积”。当您的批次大小非常小时，这可能很有用，目的是减少每次更新步骤中的梯度噪声。EMA 频率将查看“累积”的迭代次数（optimizer steps // gradient_accumulation_steps）。学习率调度器将查看“实际”的迭代次数（optimizer steps）。

参考

Adamax
Adamax 类