GRU 层

[源代码]

GRU 类

keras.layers.GRU(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    reset_after=True,
    use_cudnn="auto",
    **kwargs
)

门控循环单元 - Cho et al. 2014。

根据可用的运行时硬件和约束条件，此层将选择不同的实现（基于 cuDNN 或后端原生）来最大化性能。如果 GPU 可用且该层的所有参数都满足 cuDNN 内核的要求（下方有详细说明），则当使用 TensorFlow 后端时，该层将使用快速的 cuDNN 实现。

使用 cuDNN 实现的要求是

1. activation == tanh
2. recurrent_activation == sigmoid
3. recurrent_dropout 为 0 == 0
4. unroll 为 False
5. use_bias 为 True
6. reset_after 为 True
7. 输入（如果使用掩码）严格进行右填充。
8. 在最外层上下文中启用 Eager execution。

GRU 实现有两种变体。默认实现基于 v3，在矩阵乘法后应用重置门。另一种实现基于 原始版本，顺序相反。

第二种变体与 CuDNNGRU（仅限 GPU）兼容，并且允许在 CPU 上进行推理。因此，它对 kernel 和 recurrent_kernel 有单独的偏置。要使用此变体，请将 reset_after 设置为 True，并将 recurrent_activation 设置为 'sigmoid'。

例如

>>> inputs = np.random.random((32, 10, 8))
>>> gru = keras.layers.GRU(4)
>>> output = gru(inputs)
>>> output.shape
(32, 4)
>>> gru = keras.layers.GRU(4, return_sequences=True, return_state=True)
>>> whole_sequence_output, final_state = gru(inputs)
>>> whole_sequence_output.shape
(32, 10, 4)
>>> final_state.shape
(32, 4)

参数

• units：正整数，输出空间的维度。
• activation：要使用的激活函数。默认值：双曲正切（tanh）。如果传入 None，则不应用激活函数（即“线性”激活函数：a(x) = x）。
• recurrent_activation：用于循环步骤的激活函数。默认：sigmoid (sigmoid)。如果传入 None，则不应用激活函数（即“线性”激活：a(x) = x）。
• use_bias：布尔值（默认 True），表示该层是否应使用偏差向量。
• kernel_initializer：kernel 权重矩阵的初始化器，用于输入的线性变换。默认："glorot_uniform"。
• recurrent_initializer：recurrent_kernel 权重矩阵的初始化器，用于循环状态的线性变换。默认："orthogonal"。
• bias_initializer：偏差向量的初始化器。默认："zeros"。
• kernel_regularizer：应用于 kernel 权重矩阵的正则化函数。默认：None。
• recurrent_regularizer：应用于 recurrent_kernel 权重矩阵的正则化函数。默认：None。
• bias_regularizer：应用于偏差向量的正则化函数。默认：None。
• activity_regularizer：应用于层输出（其“激活”）的正则化函数。默认值：None。
• kernel_constraint：应用于 kernel 权重矩阵的约束函数。默认：None。
• recurrent_constraint：应用于 recurrent_kernel 权重矩阵的约束函数。默认：None。
• bias_constraint：应用于偏差向量的约束函数。默认：None。
• dropout：介于 0 和 1 之间的浮点数。用于输入线性变换的单位丢弃比例。默认：0。
• recurrent_dropout：介于 0 和 1 之间的浮点数。用于循环状态线性变换的单位丢弃比例。默认：0。
• seed：丢弃层的随机种子。
• return_sequences：布尔值。是否返回输出序列中的最后一个输出，还是返回整个序列。默认值：False。
• return_state：布尔值。除了输出之外，是否返回最后一个状态。默认值：False。
• go_backwards：布尔值（默认为 False）。如果为 True，则向后处理输入序列并返回反转的序列。
• stateful：布尔值（默认为：False）。如果为 True，则批次中索引 i 的每个样本的最后一个状态将用作下一批次中索引 i 的样本的初始状态。
• unroll: Boolean（默认：False）。如果为 True，网络将被展开，否则将使用符号循环。展开可以加速 RNN，但通常会消耗更多内存。展开仅适用于短序列。
• reset_after：GRU 约定（是否在矩阵乘法之后或之前应用重置门）。False 表示 "之前"，True 表示 "之后"（默认且与 cuDNN 兼容）。
• use_cudnn：是否使用基于 cuDNN 的实现。"auto" 将在可行时尝试使用 cuDNN，如果不可行则回退到默认实现。

调用参数

• inputs：一个 3D 张量，形状为 (batch, timesteps, feature)。
• mask：形状为 (samples, timesteps) 的二进制张量，指示是否应屏蔽给定时间步（可选）。单独的 True 条目表示应使用相应的时间步，而 False 条目表示应忽略相应的时间步。默认为 None。
• training：布尔值，指示该层应在训练模式还是推理模式下运行。此参数在调用 cell 时传递给 cell。仅在使用了 dropout 或 recurrent_dropout 时才相关（可选）。默认为 None。
• initial_state：初始状态张量列表，在第一次调用单元时传递（可选，None 会创建零填充的初始状态张量）。默认为 None。