GroupNormalization 层

[源代码]

GroupNormalization 类

keras.layers.GroupNormalization(
    groups=32,
    axis=-1,
    epsilon=0.001,
    center=True,
    scale=True,
    beta_initializer="zeros",
    gamma_initializer="ones",
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    **kwargs
)

组归一化层。

组归一化将通道划分为组，并在每组内计算均值和方差进行归一化。经验表明，在各种小批量大小下，如果学习率随批量大小线性调整，其精度比批量归一化更稳定。

与层归一化的关系：如果组数设置为 1，则此操作几乎等同于层归一化（详见层归一化文档）。

与实例归一化的关系：如果组数设置为输入维度（即组数等于通道数），则此操作等同于实例归一化。可以通过设置 groups=-1 来实现。

参数

• groups：整数，组归一化的组数。范围为 [1, N]，其中 N 是输入维度。输入维度必须能被组数整除。默认为 32。
• axis：整数或列表/元组。进行归一化的轴。通常是特征轴。未指定的轴通常是批处理轴。-1 表示输入的最后一个维度。默认为 -1。
• epsilon：用于避免除以零而添加到方差的微小浮点数。默认为 1e-3。
• center：布尔值，如果为 True，则将 beta 偏移量添加到归一化张量。如果为 False，则忽略 beta。默认为 True。
• scale：布尔值，如果为 True，则乘以 gamma。如果为 False，则不使用 gamma。当下一层是线性层（例如 relu）时，可以禁用此选项，因为缩放将由下一层完成。默认为 True。
• beta_initializer：beta 权重的初始化器。默认为零初始化器。
• gamma_initializer：gamma 权重的初始化器。默认为一初始化器。
• beta_regularizer：beta 权重的可选正则化器。默认为 None。
• gamma_regularizer：gamma 权重的可选正则化器。默认为 None。
• beta_constraint：beta 权重的可选约束。默认为 None。
• gamma_constraint：gamma 权重的可选约束。默认为 None。 # 输入形状 任意。将此层用作模型的第一个层时，请使用关键字参数 input_shape（整数元组，不包含样本轴）。 # 输出形状 与输入形状相同。
• **kwargs：Base 层关键字参数（例如 name 和 dtype）。

参考

• Yuxin Wu 和 Kaiming He，2018