ReversibleEmbedding layer

[源代码]

ReversibleEmbedding 类

keras_hub.layers.ReversibleEmbedding(
    input_dim,
    output_dim,
    tie_weights=True,
    embeddings_initializer="uniform",
    embeddings_regularizer=None,
    embeddings_constraint=None,
    mask_zero=False,
    reverse_dtype=None,
    logit_soft_cap=None,
    **kwargs
)

一种可以向后投影到输入维度的嵌入层。

该层是 keras.layers.Embedding 的语言模型扩展。此层可以通过设置 reverse=True 来 "反向" 调用，在这种情况下，该层将从 output_dim 进行线性投影，回到 input_dim。

默认情况下，反向投影将使用 embeddings 权重的转置来投影到 input_dim（权重是 "绑定的"）。如果设置 tie_weights=False，则模型将使用一个独立的、可训练的变量进行反向投影。

该层没有偏置项。

参数

• input_dim：整数。词汇表的大小，即最大整数索引 + 1。
• output_dim：整数。稠密嵌入的维度。
• tie_weights: 布尔值，嵌入矩阵和 reverse 投影矩阵是否共享相同的权重。
• embeddings_initializer：embeddings 矩阵的初始化器（参见 keras.initializers）。
• embeddings_regularizer：应用于 embeddings 矩阵的正则化函数（参见 keras.regularizers）。
• embeddings_constraint：应用于 embeddings 矩阵的约束函数（参见 keras.constraints）。
• mask_zero: 布尔值，输入值 0 是否是一个特殊的 "填充" 值，应该被屏蔽掉。
• reverse_dtype: 反向投影计算的数据类型。默认为层的 compute_dtype。
• logit_soft_cap: 如果设置了 logit_soft_cap 并且 reverse=True，则输出 logits 将通过 tanh(logits / logit_soft_cap) * logit_soft_cap 进行缩放。这会缩小输出 logits 的范围，并可以提高训练效果。
• **kwargs: 传递给 keras.layers.Embedding 的其他关键字参数，包括 name、trainable、dtype 等。

调用参数

• inputs: 层的张量输入。
• reverse: 布尔值。如果为 True，该层将执行从 output_dim 到 input_dim 的线性投影，而不是常规的嵌入调用。默认为 False。

示例

batch_size = 16
vocab_size = 100
hidden_dim = 32
seq_length = 50

# Generate random inputs.
token_ids = np.random.randint(vocab_size, size=(batch_size, seq_length))

embedding = keras_hub.layers.ReversibleEmbedding(vocab_size, hidden_dim)
# Embed tokens to shape `(batch_size, seq_length, hidden_dim)`.
hidden_states = embedding(token_ids)
# Project hidden states to shape `(batch_size, seq_length, vocab_size)`.
logits = embedding(hidden_states, reverse=True)

参考文献

• Vaswani et al., 2017
• Press and Wolf, 2016