位置嵌入层
PositionEmbedding 类
keras_nlp.layers.PositionEmbedding(
sequence_length, initializer="glorot_uniform", **kwargs
)
一个为输入序列学习位置嵌入的层。
此类假定在输入张量中，最后一维对应于特征，倒数第二维对应于序列。
此层不支持掩码，但可以与 keras.layers.Embedding 结合使用以支持填充掩码。
参数
- sequence_length: 动态序列的最大长度。
- initializer: 用于嵌入权重的初始化器。默认值为
"glorot_uniform"。 - seq_axis: 输入张量的轴，我们将在其中添加嵌入。
- **kwargs: 传递给
keras.layers.Layer的其他关键字参数，包括name、trainable、dtype等。
调用参数
- inputs: 计算嵌入的张量输入，形状为
(batch_size, sequence_length, hidden_dim)。仅使用输入形状，因为位置嵌入不依赖于输入序列内容。 - start_index: 整数或整数张量。从其计算位置嵌入的起始位置。这在缓存解码期间很有用，在缓存解码期间，每个位置都在循环中单独预测。
示例
直接在输入上调用。
>>> layer = keras_nlp.layers.PositionEmbedding(sequence_length=10)
>>> layer(np.zeros((8, 10, 16)))
与令牌嵌入结合使用。
seq_length = 50
vocab_size = 5000
embed_dim = 128
inputs = keras.Input(shape=(seq_length,))
token_embeddings = keras.layers.Embedding(
input_dim=vocab_size, output_dim=embed_dim
)(inputs)
position_embeddings = keras_nlp.layers.PositionEmbedding(
sequence_length=seq_length
)(token_embeddings)
outputs = token_embeddings + position_embeddings
参考