Keras 2 API 文档 / 层 API / 注意力层 / AdditiveAttention 层

AdditiveAttention 层

[源代码]

AdditiveAttention

tf_keras.layers.AdditiveAttention(use_scale=True, **kwargs)

加性注意力层,也称为 Bahdanau 风格的注意力。

输入是形状为 [batch_size, Tq, dim]query 张量、形状为 [batch_size, Tv, dim]value 张量以及形状为 [batch_size, Tv, dim]key 张量。计算步骤如下:

  1. querykey 分别重塑为形状 [batch_size, Tq, 1, dim][batch_size, 1, Tv, dim]
  2. 通过非线性求和计算形状为 [batch_size, Tq, Tv] 的得分:scores = tf.reduce_sum(tf.tanh(query + key), axis=-1)
  3. 使用得分计算形状为 [batch_size, Tq, Tv] 的分布:distribution = tf.nn.softmax(scores)
  4. 使用 distribution 创建形状为 [batch_size, Tq, dim]value 的线性组合:return tf.matmul(distribution, value)

参数

  • use_scale: 如果为 True,将创建一个变量来缩放注意力得分。
  • dropout: 0 到 1 之间的浮点数。用于注意力得分的单元丢弃比例。默认为 0.0

调用参数

  • inputs: 以下张量的列表
    • query: 形状为 [batch_size, Tq, dim] 的 Query Tensor
    • value: 形状为 [batch_size, Tv, dim] 的 Value Tensor
    • key: 可选的 Key Tensor,形状为 [batch_size, Tv, dim]。如果未给出,则 keyvalue 都将使用 value,这是最常见的情况。
  • mask: 以下张量的列表
    • query_mask: 形状为 [batch_size, Tq] 的布尔掩码 Tensor。如果给出,则在 mask==False 的位置,输出将为零。
    • value_mask: 形状为 [batch_size, Tv] 的布尔掩码 Tensor。如果给出,将应用掩码,以便在 mask==False 位置的值不参与结果计算。
  • training: Python 布尔值,指示该层应在训练模式(添加 dropout)还是推理模式(不添加 dropout)下运行。
  • return_attention_scores: bool,如果为 True,则将注意力得分(经过掩码和 softmax 后)作为附加输出参数返回。
  • use_causal_mask: 布尔值。对于解码器自注意力,设置为 True。添加一个掩码,使得位置 i 不能关注位置 j > i。这可以防止信息从未来流向过去。默认为 False

输出

Attention outputs of shape `[batch_size, Tq, dim]`.
[Optional] Attention scores after masking and softmax with shape
    `[batch_size, Tq, Tv]`.

queryvaluekey 的含义取决于应用。例如,在文本相似性任务中,query 是第一段文本的序列嵌入,而 value 是第二段文本的序列嵌入。key 通常与 value 是相同的张量。

以下是在 CNN+Attention 网络中使用 AdditiveAttention 的代码示例:

# Variable-length int sequences.
query_input = tf.keras.Input(shape=(None,), dtype='int32')
value_input = tf.keras.Input(shape=(None,), dtype='int32')

# Embedding lookup.
token_embedding = tf.keras.layers.Embedding(max_tokens, dimension)
# Query embeddings of shape [batch_size, Tq, dimension].
query_embeddings = token_embedding(query_input)
# Value embeddings of shape [batch_size, Tv, dimension].
value_embeddings = token_embedding(value_input)

# CNN layer.
cnn_layer = tf.keras.layers.Conv1D(
    filters=100,
    kernel_size=4,
    # Use 'same' padding so outputs have the same shape as inputs.
    padding='same')
# Query encoding of shape [batch_size, Tq, filters].
query_seq_encoding = cnn_layer(query_embeddings)
# Value encoding of shape [batch_size, Tv, filters].
value_seq_encoding = cnn_layer(value_embeddings)

# Query-value attention of shape [batch_size, Tq, filters].
query_value_attention_seq = tf.keras.layers.AdditiveAttention()(
    [query_seq_encoding, value_seq_encoding])

# Reduce over the sequence axis to produce encodings of shape
# [batch_size, filters].
query_encoding = tf.keras.layers.GlobalAveragePooling1D()(
    query_seq_encoding)
query_value_attention = tf.keras.layers.GlobalAveragePooling1D()(
    query_value_attention_seq)

# Concatenate query and document encodings to produce a DNN input layer.
input_layer = tf.keras.layers.Concatenate()(
    [query_encoding, query_value_attention])

# Add DNN layers, and create Model.
# ...