Keras 3 API 文档
Models API Layers API Callbacks API Ops API Optimizers SGD RMSprop Adam AdamW Adadelta Adagrad Adamax Adafactor Nadam Ftrl Lion Lamb Loss Scale Optimizer Learning rate schedules API Muon Metrics Losses Data loading Built-in small datasets Keras Applications Mixed precision Multi-device distribution RNG API Rematerialization Utilities
Keras 2 API 文档
► Keras 3 API文档 / Optimizers / Lion

Lion

[源代码]

Lion 类

keras.optimizers.Lion(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.99,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name="lion",
    **kwargs
)

实现了Lion算法的优化器。

Lion 优化器是一种随机梯度下降方法，它使用符号函数来控制更新的幅度，不像 Adam 等其他自适应优化器那样依赖二阶矩。这使得 Lion 在内存方面更有效率，因为它只跟踪动量。根据作者（参见参考文献），其在 Adam 之上的性能增益会随着批量大小的增加而增加。由于 Lion 的更新是通过符号运算产生的，从而导致更大的范数，因此 Lion 的学习率通常比 AdamW 小 3-10 倍。为了保持相似的强度（lr * wd），Lion 的权重衰减应比 AdamW 大 3-10 倍。

参数

  • learning_rate：一个浮点数，一个 keras.optimizers.schedules.LearningRateSchedule 实例，或一个不带参数并返回实际使用值的可调用对象。学习率。默认为 0.001。
  • beta_1：一个 float 值或一个 constant float tensor，或者一个不带参数即可返回实际使用值的可调用对象。用于合并当前梯度和一阶矩估计的速率。默认为 0.9。
  • beta_2：一个 float 值或一个 constant float tensor，或者一个不带参数即可返回实际使用值的可调用对象。用于一阶矩估计的指数衰减率。默认为 0.99。
  • name：字符串。用于优化器创建的动量累加器权重的名称。
  • weight_decay：浮点数。如果设置，则应用权重衰减。
  • clipnorm：浮点数。如果设置，每个权重的梯度将单独裁剪，使其范数不高于此值。
  • clipvalue：浮点数。如果设置，每个权重的梯度将被裁剪，使其不高于此值。
  • global_clipnorm：浮点数。如果设置，所有权重的梯度将被裁剪，使其全局范数不高于此值。
  • use_ema：布尔值，默认为 False。如果为 True，则应用指数移动平均 (EMA)。EMA 包括在模型权重（随着训练批次更新）上计算权重的指数移动平均，并定期用其移动平均值覆盖权重。
  • ema_momentum：浮点数，默认为 0.99。仅当 use_ema=True 时使用。这是在计算模型权重 EMA 时使用的动量：new_average = ema_momentum * old_average + (1 - ema_momentum) * current_variable_value。
  • ema_overwrite_frequency：整数或 None，默认为 None。仅当 use_ema=True 时使用。每进行 ema_overwrite_frequency 步迭代，我们就用其移动平均值覆盖模型变量。如果为 None，优化器不会在训练中间覆盖模型变量，您需要通过调用 optimizer.finalize_variable_values()（该函数会就地更新模型变量）来显式覆盖变量。使用内置的 fit() 训练循环时，这会在最后一个 epoch 之后自动完成，您无需执行任何操作。
  • loss_scale_factor：浮点数或 None。如果是浮点数，将用该缩放因子乘以损失值，然后再计算梯度，并将梯度的逆乘以缩放因子，然后再更新变量。有助于防止混合精度训练期间的下溢。或者，keras.optimizers.LossScaleOptimizer 会自动设置损失缩放因子。
  • gradient_accumulation_steps：整数或 None。如果为整数，模型和优化器变量将不会在每一步更新；而是每 gradient_accumulation_steps 步更新一次，使用自上次更新以来的平均梯度值。这被称为“梯度累积”。当您的批次大小非常小时，这可能很有用，目的是减少每次更新步骤中的梯度噪声。EMA 频率将查看“累积”的迭代次数（optimizer steps // gradient_accumulation_steps）。学习率调度器将查看“实际”的迭代次数（optimizer steps）。

参考文献

Lion
Lion 类