注意力层

[源代码]

Attention 类

keras.layers.Attention(
    use_scale=False, score_mode="dot", dropout=0.0, seed=None, **kwargs
)

点积注意力层，也称为 Luong 风格注意力。

输入是包含 2 或 3 个元素的列表：1. 形状为 (batch_size, Tq, dim) 的 query 张量。2. 形状为 (batch_size, Tv, dim) 的 value 张量。3. 一个可选的形状为 (batch_size, Tv, dim) 的 key 张量。如果未提供，将使用 value 作为 key。

计算遵循以下步骤：1. 使用 query 和 key 计算注意力得分，形状为 (batch_size, Tq, Tv)。2. 使用得分计算 softmax 分布，形状为 (batch_size, Tq, Tv)。3. 使用 softmax 分布创建 value 的线性组合，形状为 (batch_size, Tq, dim)。

参数

• use_scale：如果为 True，将创建一个标量变量来缩放注意力分数。
• dropout：0 到 1 之间的浮点数。用于注意力分数的单元丢弃比例。默认为 0.0。
• seed：在 dropout 的情况下用作随机种子的 Python 整数。
• score_mode：用于计算注意力得分的函数，可选值有 {"dot", "concat"}。"dot" 指查询和键向量之间的点积。"concat" 指查询和键向量拼接后的双曲正切值。

调用参数

• inputs：以下张量的列表
  • query：形状为 (batch_size, Tq, dim) 的查询张量。
  • value：形状为 (batch_size, Tv, dim) 的值张量。
  • key：形状为 (batch_size, Tv, dim) 的可选键张量。如果未提供，将同时使用 value 作为 key 和 value，这是最常见的情况。
• mask：以下张量的列表
  • query_mask：形状为 (batch_size, Tq) 的布尔掩码张量。如果提供，则输出在 mask==False 的位置将为零。
  • value_mask：形状为 (batch_size, Tv) 的布尔掩码张量。如果提供，则会应用掩码，使 mask==False 位置的值不计入结果。
• return_attention_scores：布尔值，如果为 True，则将注意力分数（经过掩码和 softmax 后）作为额外的输出参数返回。
• training：Python 布尔值，指示该层是应以训练模式（添加 dropout）还是推理模式（无 dropout）运行。
• use_causal_mask：布尔值。设置为 True 用于 decoder self-attention。添加一个掩码，使得位置 i 不能 attending 到位置 j > i。这可以防止信息从未来流向过去。默认为 False。

输出：形状为 (batch_size, Tq, dim) 的注意力输出。（可选）掩码和 softmax 后的注意力得分，形状为 (batch_size, Tq, Tv)。