GPTNeoXBackbone
类keras_hub.models.GPTNeoXBackbone(
vocabulary_size,
num_layers,
num_heads,
hidden_dim,
intermediate_dim,
dropout=0.0,
rotary_percentage=0.25,
rotary_max_wavelength=10000,
layer_norm_epsilon=1e-05,
max_sequence_length=512,
dtype=None,
**kwargs
)
带有超参数的 GPT-NeoX 核心网络。
该网络实现了基于 Transformer 的解码器网络,即生成式预训练 Transformer-Neo-X (GPTNeoX),如"GPT-NeoX-20B: 一个开源自回归语言模型"中所述。它包括嵌入查找和 Transformer 层。
默认构造函数提供了可完全自定义、随机初始化的 GPT-NeoX 模型,可具有任意数量的层、头和嵌入维度。
免责声明:预训练模型按"原样"提供,不附带任何形式的保证或条件。底层模型由第三方提供,并受单独的许可协议约束,可从此处获取。
参数
None
,则 max_sequence_length
使用序列长度的值。这决定了位置嵌入的变量形状。keras.mixed_precision.DTypePolicy
. 用于模型计算和权重的 dtype。请注意,某些计算(如 softmax 和层归一化)无论 dtype 如何,都将始终使用 float32 精度执行。from_preset
方法GPTNeoXBackbone.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Backbone
。
预设是一个包含配置、权重和其他文件资产的目录,用于保存和加载预训练模型。preset
可以作为以下之一传入:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
此构造函数可以通过两种方式之一调用。既可以从基类调用,如 keras_hub.models.Backbone.from_preset()
,也可以从模型类调用,如 keras_hub.models.GemmaBackbone.from_preset()
。如果从基类调用,返回对象的子类将从预设目录中的配置推断。
对于任何 Backbone
子类,您可以运行 cls.presets.keys()
来列出该类上所有可用的内置预设。
参数
True
,权重将被加载到模型架构中。如果为 False
,权重将随机初始化。示例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
token_embedding
属性keras_hub.models.GPTNeoXBackbone.token_embedding
用于嵌入 token id 的 keras.layers.Embedding
实例。
此层将整数 token id 嵌入到模型的隐藏层维度。
enable_lora
方法GPTNeoXBackbone.enable_lora(rank, target_names=None)
在 backbone 上启用 Lora。
调用此方法将冻结 backbone 上的所有权重,同时在注意力层的 query 和 value EinsumDense
层上启用 Lora。