标准化层

[源]

Normalization

tf_keras.layers.Normalization(
    axis=-1, mean=None, variance=None, invert=False, **kwargs
)

一个用于标准化连续特征的预处理层。

此层将输入平移和缩放,使其分布中心在 0,标准差为 1。它通过预先计算数据的均值和方差,并在运行时调用 (input - mean) / sqrt(var) 来实现这一点。

该层的均值和方差值必须在构造时提供或通过 adapt() 学习获得。adapt() 将计算数据的均值和方差,并将其存储为层的权重。应在调用 fit()evaluate()predict() 之前调用 adapt()

有关预处理层的概述和完整列表,请参阅预处理指南

参数

  • axis: 整数、整数元组或 None。应该为形状中每个索引具有单独均值和方差的轴或轴。例如,如果形状是 (None, 5)axis=1,则层将为最后一个轴跟踪 5 个独立的均值和方差值。如果 axis 设置为 None,则层将通过一个标量均值和方差来标准化输入中的所有元素。当 -1 时,输入的最后一个轴被假定为特征维度,并按索引进行标准化。请注意,对于唯一的轴是批次轴的批量标量输入,默认情况下会分别标准化批次中的每个索引。在这种情况下,考虑传递 axis=None。默认为 -1
  • mean: 标准化过程中使用的均值。传入的值将被广播到上述保留轴的形状;如果值无法广播,则在此层的 build() 方法被调用时会引发错误。
  • variance: 标准化过程中使用的方差。传入的值将被广播到上述保留轴的形状;如果值无法广播,则在此层的 build() 方法被调用时会引发错误。
  • invert: 如果为 True,此层将对其输入应用逆变换:它将把标准化后的输入变回原始形式。

示例

通过在 adapt() 中分析数据集来计算全局均值和方差。

>>> adapt_data = np.array([1., 2., 3., 4., 5.], dtype='float32')
>>> input_data = np.array([1., 2., 3.], dtype='float32')
>>> layer = tf.keras.layers.Normalization(axis=None)
>>> layer.adapt(adapt_data)
>>> layer(input_data)
<tf.Tensor: shape=(3,), dtype=float32, numpy=
array([-1.4142135, -0.70710677, 0.], dtype=float32)>

计算最后一个轴上每个索引的均值和方差。

>>> adapt_data = np.array([[0., 7., 4.],
...                        [2., 9., 6.],
...                        [0., 7., 4.],
...                        [2., 9., 6.]], dtype='float32')
>>> input_data = np.array([[0., 7., 4.]], dtype='float32')
>>> layer = tf.keras.layers.Normalization(axis=-1)
>>> layer.adapt(adapt_data)
>>> layer(input_data)
<tf.Tensor: shape=(1, 3), dtype=float32, numpy=
array([-1., -1., -1.], dtype=float32)>

直接传递均值和方差。

>>> input_data = np.array([[1.], [2.], [3.]], dtype='float32')
>>> layer = tf.keras.layers.Normalization(mean=3., variance=2.)
>>> layer(input_data)
<tf.Tensor: shape=(3, 1), dtype=float32, numpy=
array([[-1.4142135 ],
       [-0.70710677],
       [ 0.        ]], dtype=float32)>

使用该层对输入进行去标准化(在 adapt() 层之后)。

>>> adapt_data = np.array([[0., 7., 4.],
...                        [2., 9., 6.],
...                        [0., 7., 4.],
...                        [2., 9., 6.]], dtype='float32')
>>> input_data = np.array([[1., 2., 3.]], dtype='float32')
>>> layer = tf.keras.layers.Normalization(axis=-1, invert=True)
>>> layer.adapt(adapt_data)
>>> layer(input_data)
<tf.Tensor: shape=(1, 3), dtype=float32, numpy=
array([2., 10., 8.], dtype=float32)>