GroupNormalization
类tf_keras.layers.GroupNormalization(
groups=32,
axis=-1,
epsilon=0.001,
center=True,
scale=True,
beta_initializer="zeros",
gamma_initializer="ones",
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
**kwargs
)
组归一化层。
组归一化将通道分成组,并在每组内计算均值和方差进行归一化。经验表明,在各种小批量大小范围内,如果学习率随批量大小线性调整,其精度比批量归一化(Batch Norm)更稳定。
与层归一化(Layer Normalization)的关系:如果组数设置为 1,则此操作几乎与层归一化相同(详见层归一化文档)。
与实例归一化(Instance Normalization)的关系:如果组数设置为输入维度(组数等于通道数),则此操作与实例归一化相同。
参数
32
。-1
表示输入中的最后一个维度。默认值为 -1
。beta
偏移。如果为 False,则忽略 beta
。默认值为 True
。gamma
。如果为 False,则不使用 gamma
。当下一层是线性层(例如 nn.relu
)时,可以禁用此项,因为缩放将在下一层完成。默认值为 True
。input_shape
(整数元组,不包括样本轴)。 # 输出形状 与输入形状相同。调用参数
参考: - Yuxin Wu & Kaiming He, 2018