GRU 层

[源]

GRU

tf_keras.layers.GRU(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    time_major=False,
    reset_after=True,
    **kwargs
)

门控循环单元 (Gated Recurrent Unit) - Cho 等人 2014。

有关 RNN API 用法的详细信息,请参阅 TF-Keras RNN API 指南

根据可用的运行时硬件和约束,此层将选择不同的实现(基于 cuDNN 或纯 TensorFlow)以最大限度地提高性能。如果 GPU 可用并且该层的所有参数都满足 cuDNN 内核的要求(详见下文),则该层将使用快速的 cuDNN 实现。

使用 cuDNN 实现的要求是:

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. recurrent_dropout == 0
  4. unrollFalse
  5. use_biasTrue
  6. reset_afterTrue
  7. 输入,如果使用掩码,必须严格采用右侧填充。
  8. 在最外层上下文中启用 Eager execution。

GRU 实现有两种变体。默认的变体基于 v3,并在矩阵乘法之前将重置门应用于隐藏状态。另一种变体基于 原始版本,顺序相反。

第二种变体与 CuDNNGRU(仅限 GPU)兼容,并允许在 CPU 上进行推理。因此,它为 kernelrecurrent_kernel 提供独立的偏置。要使用此变体,请设置 reset_after=Truerecurrent_activation='sigmoid'

例如

>>> inputs = tf.random.normal([32, 10, 8])
>>> gru = tf.keras.layers.GRU(4)
>>> output = gru(inputs)
>>> print(output.shape)
(32, 4)
>>> gru = tf.keras.layers.GRU(4, return_sequences=True, return_state=True)
>>> whole_sequence_output, final_state = gru(inputs)
>>> print(whole_sequence_output.shape)
(32, 10, 4)
>>> print(final_state.shape)
(32, 4)

参数

  • units: 正整数,输出空间的维度。
  • activation: 要使用的激活函数。默认值:双曲正切 (tanh)。如果传入 None,则不应用激活(即“线性”激活:a(x) = x)。
  • recurrent_activation: 要用于循环步骤的激活函数。默认值:Sigmoid (sigmoid)。如果传入 None,则不应用激活(即“线性”激活:a(x) = x)。
  • use_bias: 布尔值(默认为 True),表示该层是否使用偏置向量。
  • kernel_initializer: kernel 权重矩阵的初始化器,用于输入的线性变换。默认值:glorot_uniform
  • recurrent_initializer: recurrent_kernel 权重矩阵的初始化器,用于循环状态的线性变换。默认值:orthogonal
  • bias_initializer: 偏置向量的初始化器。默认值:zeros
  • kernel_regularizer: 应用于 kernel 权重矩阵的正则化函数。默认值:None
  • recurrent_regularizer: 应用于 recurrent_kernel 权重矩阵的正则化函数。默认值:None
  • bias_regularizer: 应用于偏置向量的正则化函数。默认值:None
  • activity_regularizer: 应用于层输出(其“激活”)的正则化函数。默认值:None
  • kernel_constraint: 应用于 kernel 权重矩阵的约束函数。默认值:None
  • recurrent_constraint: 应用于 recurrent_kernel 权重矩阵的约束函数。默认值:None
  • bias_constraint: 应用于偏置向量的约束函数。默认值:None
  • dropout: 介于 0 和 1 之间的浮点数。用于输入线性变换而丢弃的单元比例。默认值:0。
  • recurrent_dropout: 介于 0 和 1 之间的浮点数。用于循环状态线性变换而丢弃的单元比例。默认值:0。
  • return_sequences: 布尔值。是否返回输出序列中的最后一个输出,或返回完整序列。默认值:False
  • return_state: 布尔值。是否在输出之外返回最后一个状态。默认值:False
  • go_backwards: 布尔值(默认为 False)。如果为 True,则向后处理输入序列并返回反转的序列。
  • stateful: 布尔值(默认为 False)。如果为 True,则批次中索引 i 处每个样本的最后一个状态将用作下一批次中索引 i 处样本的初始状态。
  • unroll: 布尔值(默认为 False)。如果为 True,则网络将展开,否则将使用符号循环。展开可以加速 RNN,尽管它往往更耗内存。展开仅适用于短序列。
  • time_major: inputsoutputs 张量的形状格式。如果为 True,输入和输出的形状将是 [timesteps, batch, feature],而如果为 False,则形状将是 [batch, timesteps, feature]。使用 time_major = True 更高效一些,因为它避免了 RNN 计算开始和结束时的转置。然而,大多数 TensorFlow 数据是 batch-major 格式,因此默认情况下此函数接受 batch-major 格式的输入并输出该格式的结果。
  • reset_after: GRU 约定(在矩阵乘法之后还是之前应用重置门)。False = “之前”,True = “之后”(默认且与 cuDNN 兼容)。

调用参数

  • inputs: 一个 3D 张量,形状为 [batch, timesteps, feature]
  • mask: 形状为 [samples, timesteps] 的二进制张量,指示是否应屏蔽给定的时间步(可选)。单个 True 条目表示应使用对应的时间步,而 False 条目表示应忽略对应的时间步。默认值:None
  • training: Python 布尔值,指示该层应在训练模式还是推理模式下运行。调用 cell 时会传入此参数。这仅在使用 dropoutrecurrent_dropout 时相关(可选)。默认值:None
  • initial_state: 要传递给 cell 首次调用的初始状态张量列表(可选,None 将创建填充零的初始状态张量)。默认值:None