XLNetBackbone
类keras_hub.models.XLNetBackbone(
vocabulary_size,
num_layers,
num_heads,
hidden_dim,
intermediate_dim,
dropout=0.0,
activation="gelu",
kernel_initializer_range=0.02,
bias_initializer="zeros",
dtype=None,
**kwargs
)
XLNet 编码器网络。
此类实现了 XLNet Transformer。
默认构造函数提供了一个完全可定制的、随机初始化的 XLNet 编码器,其层数、注意力头数和嵌入维度均可自定义。要加载预设架构和权重,请使用 from_preset
构造函数。
免责声明:预训练模型按“原样”提供,不附带任何形式的担保或条件。
属性
keras.layers.TwoStreamRelativeAttention
层中的注意力头数量。keras.layers.TwoStreamRelativeAttention
和前馈网络共享。keras.activations
,默认为 "gelu"。前馈网络的激活函数。keras.initializers
initializer,默认为 "zeros"。密集层和多头相对注意力层的偏置初始化器。keras.mixed_precision.DTypePolicy
。用于模型计算和权重的 dtype。请注意,某些计算(例如 softmax 和层归一化)无论 dtype 如何,都将始终以 float32 精度完成。调用参数
[batch_size, sequence_length]
。[batch_size, sequence_length]
。[batch_size, sequence_length]
。示例
import numpy as np
from keras_hub.src.models import XLNetBackbone
input_data = {
"token_ids": np.array(
[460, 5272, 1758, 4905, 9, 4, 3], shape=(1, 7),
),
"segment_ids": np.array(
[0, 0, 0, 0, 0, 0, 2], shape=(1, 7),
),
"padding_mask": np.array(
[1, 1, 1, 1, 1, 1, 1], shape=(1, 7)
),
}
# Randomly initialized XLNet encoder with a custom config
model = keras_hub.models.XLNetBackbone(
vocabulary_size=32000,
num_layers=12,
num_heads=12,
hidden_dim=768,
intermediate_dim=3072,
)
output = model(input_data)
from_preset
方法XLNetBackbone.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化 keras_hub.models.Backbone
。
预设是用于保存和加载预训练模型的配置、权重和其他文件资产的目录。preset
可以以下列形式之一传入:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
此构造函数可以通过两种方式之一调用。可以从基类调用,例如 keras_hub.models.Backbone.from_preset()
,也可以从模型类调用,例如 keras_hub.models.GemmaBackbone.from_preset()
。如果从基类调用,返回对象的子类将从预设目录中的配置推断。
对于任何 Backbone
子类,您可以运行 cls.presets.keys()
来列出该类上所有可用的内置预设。
参数
True
,权重将加载到模型架构中。如果为 False
,权重将随机初始化。示例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
token_embedding
属性keras_hub.models.XLNetBackbone.token_embedding
用于嵌入 token ID 的 keras.layers.Embedding
实例。
此层将整数 token ID 嵌入到模型的隐藏维度中。