► Keras 3 API 文档 / 层 API / 归一化层 / BatchNormalization 层

BatchNormalization 层

`BatchNormalization` 类

keras.layers.BatchNormalization(
    axis=-1,
    momentum=0.99,
    epsilon=0.001,
    center=True,
    scale=True,
    beta_initializer="zeros",
    gamma_initializer="ones",
    moving_mean_initializer="zeros",
    moving_variance_initializer="ones",
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    synchronized=False,
    **kwargs
)

对输入进行归一化的层。

批量归一化应用一种转换，保持平均输出接近 0，输出标准差接近 1。

重要的是，批量归一化在训练和推理期间的工作方式不同。

在训练期间（即当使用 fit() 或在调用层/模型时使用参数 training=True 时），该层使用当前输入批次的平均值和标准差来归一化其输出。也就是说，对于正在归一化的每个通道，该层返回 gamma * (batch - mean(batch)) / sqrt(var(batch) + epsilon) + beta，其中

epsilon 是一个小的常数（可在构造函数参数中配置）
gamma 是一个学习的缩放因子（初始化为 1），可以通过传递 scale=False 给构造函数来禁用。
beta 是一个学习的偏移因子（初始化为 0），可以通过传递 center=False 给构造函数来禁用。

在推理期间（即当使用 evaluate() 或 predict() 或在调用层/模型时使用参数 training=False (默认值) 时），该层使用在训练期间看到的批次的平均值和标准差的移动平均值来归一化其输出。也就是说，它返回 gamma * (batch - self.moving_mean) / sqrt(self.moving_var+epsilon) + beta。

self.moving_mean 和 self.moving_var 是不可训练的变量，每次在训练模式下调用该层时都会更新，如下所示

moving_mean = moving_mean * momentum + mean(batch) * (1 - momentum)
moving_var = moving_var * momentum + var(batch) * (1 - momentum)

因此，该层仅在 在与推理数据具有相似统计特性的数据上进行训练之后 才会在推理期间归一化其输入。

参数

axis：整数，应该归一化的轴（通常是特征轴）。例如，在使用 data_format="channels_first" 的 Conv2D 层之后，使用 axis=1。
momentum：移动平均的动量。
epsilon：添加到方差中的小浮点数，以避免被零除。
center：如果为 True，则将 beta 的偏移量添加到归一化张量。如果为 False，则忽略 beta。
scale：如果为 True，则乘以 gamma。如果为 False，则不使用 gamma。当下一层是线性层时，可以禁用此项，因为缩放将由下一层完成。
beta_initializer：beta 权重的初始化器。
gamma_initializer：gamma 权重的初始化器。
moving_mean_initializer：移动平均的初始化器。
moving_variance_initializer：移动方差的初始化器。
beta_regularizer：beta 权重的可选正则化器。
gamma_regularizer：gamma 权重的可选正则化器。
beta_constraint：beta 权重的可选约束。
gamma_constraint：gamma 权重的可选约束。
synchronized：仅适用于 TensorFlow 后端。如果为 True，则在分布式训练策略中的每个训练步骤中，跨所有设备同步该层的全局批次统计信息（平均值和方差）。如果为 False，则每个副本使用其自己的本地批次统计信息。
**kwargs：基本层关键字参数（例如 name 和 dtype）。

调用参数

inputs：输入张量（任何等级）。
training：Python 布尔值，指示该层应在训练模式还是在推理模式下运行。
- training=True：该层将使用当前输入批次的平均值和方差来归一化其输入。
- training=False：该层将使用在训练期间学习到的移动统计信息的平均值和方差来归一化其输入。
mask：形状可广播到 inputs 张量的二进制张量，其中 True 值表示应计算平均值和方差的位置。当前输入的掩码元素在训练期间不被考虑用于平均值和方差的计算。任何先前的未掩码元素值都将被考虑在内，直到它们的动量过期。

参考

Ioffe 和 Szegedy，2015 年.

关于在 BatchNormalization 层上设置 layer.trainable = False

设置 layer.trainable = False 的含义是冻结该层，即其内部状态在训练期间不会改变：其可训练权重不会在 fit() 或 train_on_batch() 期间更新，并且不会运行其状态更新。

通常，这并不一定意味着该层在推理模式下运行（这通常由在调用层时可以传递的 training 参数控制）。“冻结状态”和“推理模式”是两个独立的概念。

但是，对于 BatchNormalization 层，在该层上设置 trainable = False 意味着该层随后将在推理模式下运行（意味着它将使用移动平均值和移动方差来归一化当前批次，而不是使用当前批次的平均值和方差）。

请注意

在包含其他层的模型上设置 trainable 将递归设置所有内部层的 trainable 值。
如果在模型上调用 compile() 后更改了 trainable 属性的值，则此模型的新值只有在再次调用 compile() 后才会生效。

BatchNormalization 层

BatchNormalization 类

BatchNormalization 层

BatchNormalization 类

`BatchNormalization` 类