GRU
类tf_keras.layers.GRU(
units,
activation="tanh",
recurrent_activation="sigmoid",
use_bias=True,
kernel_initializer="glorot_uniform",
recurrent_initializer="orthogonal",
bias_initializer="zeros",
kernel_regularizer=None,
recurrent_regularizer=None,
bias_regularizer=None,
activity_regularizer=None,
kernel_constraint=None,
recurrent_constraint=None,
bias_constraint=None,
dropout=0.0,
recurrent_dropout=0.0,
return_sequences=False,
return_state=False,
go_backwards=False,
stateful=False,
unroll=False,
time_major=False,
reset_after=True,
**kwargs
)
门控循环单元 (Gated Recurrent Unit) - Cho 等人 2014。
有关 RNN API 用法的详细信息,请参阅 TF-Keras RNN API 指南。
根据可用的运行时硬件和约束,此层将选择不同的实现(基于 cuDNN 或纯 TensorFlow)以最大限度地提高性能。如果 GPU 可用并且该层的所有参数都满足 cuDNN 内核的要求(详见下文),则该层将使用快速的 cuDNN 实现。
使用 cuDNN 实现的要求是:
activation
== tanh
recurrent_activation
== sigmoid
recurrent_dropout
== 0unroll
为 False
use_bias
为 True
reset_after
为 True
GRU 实现有两种变体。默认的变体基于 v3,并在矩阵乘法之前将重置门应用于隐藏状态。另一种变体基于 原始版本,顺序相反。
第二种变体与 CuDNNGRU(仅限 GPU)兼容,并允许在 CPU 上进行推理。因此,它为 kernel
和 recurrent_kernel
提供独立的偏置。要使用此变体,请设置 reset_after=True
和 recurrent_activation='sigmoid'
。
例如
>>> inputs = tf.random.normal([32, 10, 8])
>>> gru = tf.keras.layers.GRU(4)
>>> output = gru(inputs)
>>> print(output.shape)
(32, 4)
>>> gru = tf.keras.layers.GRU(4, return_sequences=True, return_state=True)
>>> whole_sequence_output, final_state = gru(inputs)
>>> print(whole_sequence_output.shape)
(32, 10, 4)
>>> print(final_state.shape)
(32, 4)
参数
tanh
)。如果传入 None
,则不应用激活(即“线性”激活:a(x) = x
)。sigmoid
)。如果传入 None
,则不应用激活(即“线性”激活:a(x) = x
)。True
),表示该层是否使用偏置向量。kernel
权重矩阵的初始化器,用于输入的线性变换。默认值:glorot_uniform
。recurrent_kernel
权重矩阵的初始化器,用于循环状态的线性变换。默认值:orthogonal
。zeros
。kernel
权重矩阵的正则化函数。默认值:None
。recurrent_kernel
权重矩阵的正则化函数。默认值:None
。None
。None
。kernel
权重矩阵的约束函数。默认值:None
。recurrent_kernel
权重矩阵的约束函数。默认值:None
。None
。False
。False
。False
)。如果为 True,则向后处理输入序列并返回反转的序列。inputs
和 outputs
张量的形状格式。如果为 True,输入和输出的形状将是 [timesteps, batch, feature]
,而如果为 False,则形状将是 [batch, timesteps, feature]
。使用 time_major = True
更高效一些,因为它避免了 RNN 计算开始和结束时的转置。然而,大多数 TensorFlow 数据是 batch-major 格式,因此默认情况下此函数接受 batch-major 格式的输入并输出该格式的结果。调用参数
[batch, timesteps, feature]
。[samples, timesteps]
的二进制张量,指示是否应屏蔽给定的时间步(可选)。单个 True
条目表示应使用对应的时间步,而 False
条目表示应忽略对应的时间步。默认值:None
。dropout
或 recurrent_dropout
时相关(可选)。默认值:None
。None
将创建填充零的初始状态张量)。默认值:None
。