层归一化层

`LayerNormalization` 类

keras.layers.LayerNormalization(
    axis=-1,
    epsilon=0.001,
    center=True,
    scale=True,
    rms_scaling=False,
    beta_initializer="zeros",
    gamma_initializer="ones",
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    **kwargs
)

层归一化层（Ba 等人，2016）。

独立地归一化每个批次中给定示例之前层的激活，而不是像批归一化那样跨批次归一化。即应用一种转换，使每个示例内的平均激活值接近 0，激活标准差接近 1。

如果启用了 scale 或 center，则该层将通过将归一化后的输出与可训练变量 gamma 广播来缩放归一化后的输出，并将输出与可训练变量 beta 广播来居中。gamma 将默认为全 1 张量，而 beta 将默认为全 0 张量，因此在训练开始之前，居中和缩放将是无操作。

因此，在启用缩放和居中时，归一化方程如下

令小批次的中间激活值为 inputs。

对于 inputs 中的每个样本 x_i，它具有 k 个特征，我们计算样本的均值和方差

mean_i = sum(x_i[j] for j in range(k)) / k
var_i = sum((x_i[j] - mean_i) ** 2 for j in range(k)) / k

然后计算一个归一化的 x_i_normalized，包括一个小的因子 epsilon 用于数值稳定性。

x_i_normalized = (x_i - mean_i) / sqrt(var_i + epsilon)

最后，x_i_normalized 通过 gamma 和 beta 进行线性变换，它们是学习到的参数

output_i = x_i_normalized * gamma + beta

gamma 和 beta 将跨越 inputs 中指定的 axis 的轴，并且 inputs 形状的这部分必须完全定义。

例如

>>> layer = keras.layers.LayerNormalization(axis=[1, 2, 3])
>>> layer.build([5, 20, 30, 40])
>>> print(layer.beta.shape)
(20, 30, 40)
>>> print(layer.gamma.shape)
(20, 30, 40)

请注意，层归一化的其他实现可能选择在与被归一化轴不同的轴集上定义 gamma 和 beta。例如，组归一化（Wu 等人，2018）的组大小为 1 对应于跨高度、宽度和通道归一化的层归一化，并且 gamma 和 beta 仅跨越通道维度。因此，此层归一化实现将不匹配组大小设置为 1 的组归一化层。

参数

axis: 整数或列表/元组。要归一化的轴或轴。通常，这是特征轴/轴。剩下的轴通常是批处理轴/轴。-1 是输入中的最后一个维度。默认为 -1。
epsilon: 添加到方差中的小浮点数，以避免除以零。默认为 1e-3。
center: 如果为 True，则将 beta 的偏移量添加到归一化张量。如果为 False，则 beta 被忽略。默认为 True。
scale: 如果为 True，则乘以 gamma。如果为 False，则不使用 gamma。当下一层是线性的（例如 nn.relu）时，可以禁用此功能，因为缩放将由下一层完成。默认为 True。
rms_scaling: 如果为 True，则忽略 center 和 scale，并且输入按 gamma 和所有输入平方值的平方根的倒数进行缩放。这是一种近似且更快的做法，它避免了计算输入的平均值。
beta_initializer: beta 权重的初始化器。默认为零。
gamma_initializer: gamma 权重的初始化器。默认为一。
beta_regularizer: beta 权重的可选正则化器。默认情况下为 None。
gamma_regularizer: gamma 权重的可选正则化器。默认情况下为 None。
beta_constraint: beta 权重的可选约束。默认情况下为 None。
gamma_constraint: gamma 权重的可选约束。默认情况下为 None。
**kwargs: 基础层关键字参数（例如 name 和 dtype）。

参考

Lei Ba 等人，2016.

层归一化层

LayerNormalization 类

层归一化层

LayerNormalization 类

`LayerNormalization` 类