GRU 层

[源代码]

GRU

keras.layers.GRU(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    reset_after=True,
    use_cudnn="auto",
    **kwargs
)

门控循环单元 - Cho 等人,2014 年。

根据可用的运行时硬件和约束条件,此层将选择不同的实现(基于 cuDNN 或后端原生)以最大化性能。如果 GPU 可用并且层的所有参数都满足 cuDNN 内核的要求(有关详细信息,请参见下文),则在使用 TensorFlow 后端时,该层将使用快速的 cuDNN 实现。

使用 cuDNN 实现的要求是

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. dropout == 0 且 recurrent_dropout == 0
  4. unrollFalse
  5. use_biasTrue
  6. reset_afterTrue
  7. 如果使用掩码,输入必须严格右填充。
  8. 在最外层上下文中启用了渴望执行。

GRU 实现有两种变体。默认值基于v3,并在矩阵乘法之前将重置门应用于隐藏状态。另一个基于原始版本,顺序相反。

第二个变体与 CuDNNGRU(仅 GPU)兼容,并允许在 CPU 上进行推理。因此,它对kernelrecurrent_kernel有单独的偏差。要使用此变体,请设置reset_after=Truerecurrent_activation='sigmoid'

例如

>>> inputs = np.random.random((32, 10, 8))
>>> gru = keras.layers.GRU(4)
>>> output = gru(inputs)
>>> output.shape
(32, 4)
>>> gru = keras.layers.GRU(4, return_sequences=True, return_state=True)
>>> whole_sequence_output, final_state = gru(inputs)
>>> whole_sequence_output.shape
(32, 10, 4)
>>> final_state.shape
(32, 4)

参数

  • units:正整数,输出空间的维度。
  • activation:要使用的激活函数。默认值:双曲正切 (tanh)。如果传递 None,则不应用任何激活(即“线性”激活:a(x) = x)。
  • recurrent_activation:用于循环步骤的激活函数。默认值:sigmoid (sigmoid)。如果传递 None,则不应用任何激活(即“线性”激活:a(x) = x)。
  • use_bias:布尔值,(默认值 True),指示层是否应使用偏差向量。
  • kernel_initializerkernel权重矩阵的初始化器,用于输入的线性变换。默认值:"glorot_uniform"
  • recurrent_initializerrecurrent_kernel权重矩阵的初始化器,用于循环状态的线性变换。默认值:"orthogonal"
  • bias_initializer:偏差向量的初始化器。默认值:"zeros"
  • kernel_regularizer:应用于kernel权重矩阵的正则化函数。默认值:None
  • recurrent_regularizer:应用于recurrent_kernel权重矩阵的正则化函数。默认值:None
  • bias_regularizer:应用于偏差向量的正则化函数。默认值:None
  • activity_regularizer:应用于层输出(其“激活”)的正则化函数。默认值:None
  • kernel_constraint:应用于kernel权重矩阵的约束函数。默认值:None
  • recurrent_constraint:应用于recurrent_kernel权重矩阵的约束函数。默认值:None
  • bias_constraint:应用于偏差向量的约束函数。默认值:None
  • dropout:0 到 1 之间的浮点数。输入线性变换中要丢弃的单元的分数。默认值:0。
  • recurrent_dropout:0 到 1 之间的浮点数。循环状态线性变换中要丢弃的单元的分数。默认值:0。
  • seed:dropout 的随机种子。
  • return_sequences:布尔值。是否返回输出序列中的最后一个输出,或返回完整序列。默认值:False
  • return_state:布尔值。是否除了输出之外还返回最后一个状态。默认值:False
  • go_backwards:布尔值(默认值 False)。如果 True,则反向处理输入序列并返回反向序列。
  • stateful:布尔值(默认值:False)。如果 True,则批次中索引 i 处每个样本的最后一个状态将用作后续批次中索引 i 处样本的初始状态。
  • unroll:布尔值(默认值:False)。如果 True,则网络将展开,否则将使用符号循环。展开可以加快 RNN 的速度,尽管它往往更占用内存。展开仅适用于短序列。
  • reset_after:GRU 约定(是否在矩阵乘法后或之前应用重置门)。False"before"True"after"(默认值且与 cuDNN 兼容)。
  • use_cudnn:是否使用 cuDNN 支持的实现。"auto" 将尝试在可行时使用 cuDNN,如果不可行则回退到默认实现。

调用参数

  • inputs:一个 3D 张量,形状为 (batch, timesteps, feature)
  • mask:形状为 (samples, timesteps) 的二进制张量,指示是否应屏蔽给定时间步长(可选)。单个 True 条目指示应使用相应的时间步长,而 False 条目指示应忽略相应的时间步长。默认为 None
  • training:Python 布尔值,指示层应在训练模式下还是推理模式下运行。此参数在调用单元时传递给单元。这仅在使用 dropoutrecurrent_dropout 时才相关(可选)。默认为 None
  • initial_state:要传递给单元第一次调用的初始状态张量的列表(可选,None 会导致创建零填充的初始状态张量)。默认为 None