层归一化层
LayerNormalization 类
keras.layers.LayerNormalization(
axis=-1,
epsilon=0.001,
center=True,
scale=True,
rms_scaling=False,
beta_initializer="zeros",
gamma_initializer="ones",
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
**kwargs
)
层归一化层 (Ba et al., 2016)。
独立地对批次中每个给定示例的前一层的激活进行归一化，而不是像批量归一化那样跨批次归一化。即应用一种转换，使每个示例内的平均激活接近 0，激活标准差接近 1。
如果启用 scale 或 center，则该层将使用可训练变量 gamma 广播缩放归一化输出，并使用可训练变量 beta 广播居中输出。 gamma 默认为 1 张量，beta 默认为 0 张量，因此在训练开始之前，居中和缩放是空操作。
因此，在启用缩放和居中的情况下，归一化方程如下：
设小批量中间激活为 inputs。
对于 inputs 中具有 k 个特征的每个样本 x_i，我们计算样本的均值和方差：
mean_i = sum(x_i[j] for j in range(k)) / k
var_i = sum((x_i[j] - mean_i) ** 2 for j in range(k)) / k
然后计算归一化的 x_i_normalized，其中包括一个小的因子 epsilon 用于数值稳定性。
x_i_normalized = (x_i - mean_i) / sqrt(var_i + epsilon)
最后，x_i_normalized 由 gamma 和 beta 进行线性变换，它们是学习参数：
output_i = x_i_normalized * gamma + beta
gamma 和 beta 将跨越 axis 中指定的 inputs 轴，并且输入的这部分形状必须完全定义。
例如：
>>> layer = keras.layers.LayerNormalization(axis=[1, 2, 3])
>>> layer.build([5, 20, 30, 40])
>>> print(layer.beta.shape)
(20, 30, 40)
>>> print(layer.gamma.shape)
(20, 30, 40)
请注意，层归一化的其他实现可能会选择在与归一化轴分开的一组轴上定义 gamma 和 beta。例如，组归一化 (Wu et al. 2018) 的组大小为 1 时，对应于跨高度、宽度和通道进行归一化并且 gamma 和 beta 仅跨越通道维度的层归一化。因此，此层归一化实现与组大小设置为 1 的组归一化层不匹配。
参数
- axis：整数或列表/元组。 要归一化的轴或轴。 通常，这是特征轴/轴。 剩下的轴通常是批次轴/轴。
-1是输入中的最后一个维度。 默认为-1。 - epsilon：添加到方差的小浮点数，以避免除以零。 默认为 1e-3。
- center：如果为 True，则将
beta的偏移量添加到归一化张量。 如果为 False，则忽略beta。 默认为True。 - scale：如果为 True，则乘以
gamma。 如果为 False，则不使用gamma。 当下一层是线性的（例如，nn.relu）时，可以禁用此选项，因为缩放将由下一层完成。 默认为True。 - rms_scaling：如果为 True，则忽略
center和scale，并且输入按gamma和所有输入的平方的平方根的倒数进行缩放。 这是一种近似且更快的方法，避免了计算输入的平均值。 - beta_initializer：beta 权重的初始化器。 默认为零。
- gamma_initializer：gamma 权重的初始化器。 默认为一。
- beta_regularizer：beta 权重的可选正则化器。 默认值为 None。
- gamma_regularizer：gamma 权重的可选正则化器。 默认值为 None。
- beta_constraint：beta 权重的可选约束。 默认值为 None。
- gamma_constraint：gamma 权重的可选约束。 默认值为 None。
- **kwargs：基础层关键字参数（例如
name和dtype）。
参考