► Keras 3 API 文档 / 层 API / 循环层 / LSTM层

LSTM层

[源代码]

LSTM 类

keras.layers.LSTM(
    units,
    activation="tanh",
    recurrent_activation="sigmoid",
    use_bias=True,
    kernel_initializer="glorot_uniform",
    recurrent_initializer="orthogonal",
    bias_initializer="zeros",
    unit_forget_bias=True,
    kernel_regularizer=None,
    recurrent_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    recurrent_constraint=None,
    bias_constraint=None,
    dropout=0.0,
    recurrent_dropout=0.0,
    seed=None,
    return_sequences=False,
    return_state=False,
    go_backwards=False,
    stateful=False,
    unroll=False,
    use_cudnn="auto",
    **kwargs
)

长短期记忆层 - Hochreiter 1997。

根据可用的运行时硬件和约束，此层将选择不同的实现（基于cuDNN或后端原生）以最大化性能。如果GPU可用并且该层的所有参数都满足cuDNN内核的要求（详见下文），则在使用TensorFlow后端时，该层将使用快速cuDNN实现。使用cuDNN实现的要求是

  1. activation == tanh
  2. recurrent_activation == sigmoid
  3. dropout == 0 且 recurrent_dropout == 0
  4. unroll 为 False
  5. use_bias 为 True
  6. 如果使用掩码，则输入必须严格地进行右填充。
  7. 在最外层上下文中启用急切执行。

例如

>>> inputs = np.random.random((32, 10, 8))
>>> lstm = keras.layers.LSTM(4)
>>> output = lstm(inputs)
>>> output.shape
(32, 4)
>>> lstm = keras.layers.LSTM(
...     4, return_sequences=True, return_state=True)
>>> whole_seq_output, final_memory_state, final_carry_state = lstm(inputs)
>>> whole_seq_output.shape
(32, 10, 4)
>>> final_memory_state.shape
(32, 4)
>>> final_carry_state.shape
(32, 4)

参数

  • units：正整数，输出空间的维度。
  • activation：要使用的激活函数。默认值：双曲正切 (tanh)。如果传递 None，则不应用激活（即“线性”激活：a(x) = x）。
  • recurrent_activation：用于循环步骤的激活函数。默认值：sigmoid (sigmoid)。如果传递 None，则不应用激活（即“线性”激活：a(x) = x）。
  • use_bias：布尔值，（默认 True），指示层是否应使用偏置向量。
  • kernel_initializer：用于kernel权重矩阵的初始化器，用于输入的线性变换。默认值："glorot_uniform"。
  • recurrent_initializer：用于recurrent_kernel权重矩阵的初始化器，用于循环状态的线性变换。默认值："orthogonal"。
  • bias_initializer：用于偏置向量的初始化器。默认值："zeros"。
  • unit_forget_bias：布尔值（默认 True）。如果为 True，则在初始化时将 1 添加到遗忘门的偏置。将其设置为 True 还会强制 bias_initializer="zeros"。建议使用 Jozefowicz et al.
  • kernel_regularizer：应用于 kernel 权重矩阵的正则化函数。默认值：None。
  • recurrent_regularizer：应用于 recurrent_kernel 权重矩阵的正则化函数。默认值：None。
  • bias_regularizer：应用于偏置向量的正则化函数。默认值：None。
  • activity_regularizer：应用于层输出（其“激活”）的正则化函数。默认值：None。
  • kernel_constraint：应用于 kernel 权重矩阵的约束函数。默认值：None。
  • recurrent_constraint：应用于 recurrent_kernel 权重矩阵的约束函数。默认值：None。
  • bias_constraint：应用于偏置向量的约束函数。默认值：None。
  • dropout：介于 0 和 1 之间的浮点数。对于输入的线性变换，要丢弃的单元的分数。默认值：0。
  • recurrent_dropout：介于 0 和 1 之间的浮点数。对于循环状态的线性变换，要丢弃的单元的分数。默认值：0。
  • seed：用于 dropout 的随机种子。
  • return_sequences：布尔值。是返回输出序列中的最后一个输出，还是返回完整序列。默认值：False。
  • return_state：布尔值。除了输出之外，是否返回最后一个状态。默认值：False。
  • go_backwards：布尔值（默认值：False）。如果为 True，则反向处理输入序列并返回反向序列。
  • stateful：布尔值（默认值：False）。如果为 True，则批次中索引 i 处每个样本的最后一个状态将用作下一个批次中索引 i 的样本的初始状态。
  • unroll：布尔值（默认值为 False）。如果为 True，则将展开网络，否则将使用符号循环。展开可以加快 RNN 的速度，尽管它往往更占用内存。展开仅适用于短序列。
  • use_cudnn：是否使用 cuDNN 支持的实现。 "auto" 将尝试在可行时使用 cuDNN，如果不可行，则回退到默认实现。

调用参数

  • inputs：一个 3D 张量，形状为 (batch, timesteps, feature)。
  • mask：形状为 (samples, timesteps) 的二进制张量，指示是否应屏蔽给定的时间步（可选）。单个 True 条目表示应使用相应的时间步，而 False 条目表示应忽略相应的时间步。默认为 None。
  • training：Python 布尔值，指示该层应在训练模式还是推理模式下运行。此参数在调用单元时传递给单元。仅当使用 dropout 或 recurrent_dropout 时才相关（可选）。默认为 None。
  • initial_state：要传递给单元的第一次调用的初始状态张量列表（可选，None 会导致创建零填充的初始状态张量）。默认为 None。
LSTM层
LSTM 类