GemmaBackbone
类keras_hub.models.GemmaBackbone(
vocabulary_size,
num_layers,
num_query_heads,
num_key_value_heads,
hidden_dim,
intermediate_dim,
head_dim,
query_head_dim_normalize=True,
use_post_ffw_norm=False,
use_post_attention_norm=False,
attention_logit_soft_cap=None,
final_logit_soft_cap=None,
use_sliding_window_attention=False,
sliding_window_size=4096,
layer_norm_epsilon=1e-06,
dropout=0,
dtype=None,
**kwargs
)
带有超参数的 Gemma 核心网络。
这个主干实现了 Gemma 模型的基础 Transformer 网络。它包含嵌入查找和 Transformer 层。这个主干将输出每个 token 的最终隐藏状态,而不是词汇空间上的生成预测。对于更高级别的文本生成对象,请参阅 keras_hub.models.GemmaCausalLM
。
默认构造函数提供了一个完全可定制的、随机初始化的 Gemma 模型,可以设置任意数量的层、头和嵌入维度。要加载预设架构和权重,请使用 from_preset
构造函数。
参数
True
,在注意力计算前使用 head_dim
归一化查询。如果为 False
,则使用 hidden_dim / num_query_heads
归一化查询。默认为 True。keras.mixed_precision.DTypePolicy
. 模型计算和权重使用的数据类型 (dtype)。注意,某些计算,例如 softmax 和层归一化,无论 dtype 如何,都将始终以 float32 精度完成。示例
input_data = {
"token_ids": np.ones(shape=(1, 12), dtype="int32"),
"padding_mask": np.array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]]),
}
# Pretrained Gemma decoder.
model = keras_hub.models.GemmaBackbone.from_preset("gemma_2b_en")
model(input_data)
# Randomly initialized Gemma decoder with custom config.
model = keras_hub.models.GemmaBackbone(
vocabulary_size=50257,
num_layers=12,
num_query_heads=12,
num_key_value_heads=1,
hidden_dim=768,
intermediate_dim=3072,
head_dim=64,
)
model(input_data)
from_preset
方法GemmaBackbone.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Backbone
。
预设是用于保存和加载预训练模型的配置、权重及其他文件资产的目录。preset
可以以下列形式之一传递:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
此构造函数可以通过以下两种方式之一调用。可以从基类调用,例如 keras_hub.models.Backbone.from_preset()
,或从模型类调用,例如 keras_hub.models.GemmaBackbone.from_preset()
。如果从基类调用,返回对象的子类将根据预设目录中的配置推断得出。
对于任何 Backbone
子类,您都可以运行 cls.presets.keys()
来列出该类上所有可用的内置预设。
参数
True
,权重将被加载到模型架构中。如果为 False
,权重将随机初始化。示例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
预设 | 参数量 | 描述 |
---|---|---|
gemma_2b_en | 2.51B | 20 亿参数、18 层的基础 Gemma 模型。 |
gemma_instruct_2b_en | 2.51B | 20 亿参数、18 层的指令微调 Gemma 模型。 |
gemma_1.1_instruct_2b_en | 2.51B | 20 亿参数、18 层的指令微调 Gemma 模型。1.1 更新提高了模型质量。 |
code_gemma_1.1_2b_en | 2.51B | 20 亿参数、18 层的 CodeGemma 模型。此模型已针对代码补全的 FIM(填充中间)任务进行了训练。1.1 更新提高了模型质量。 |
code_gemma_2b_en | 2.51B | 20 亿参数、18 层的 CodeGemma 模型。此模型已针对代码补全的 FIM(填充中间)任务进行了训练。 |
gemma2_2b_en | 2.61B | 20 亿参数、26 层的基础 Gemma 模型。 |
gemma2_instruct_2b_en | 2.61B | 20 亿参数、26 层的指令微调 Gemma 模型。 |
shieldgemma_2b_en | 2.61B | 20 亿参数、26 层的 ShieldGemma 模型。 |
gemma_7b_en | 8.54B | 70 亿参数、28 层的基础 Gemma 模型。 |
gemma_instruct_7b_en | 8.54B | 70 亿参数、28 层的指令微调 Gemma 模型。 |
gemma_1.1_instruct_7b_en | 8.54B | 70 亿参数、28 层的指令微调 Gemma 模型。1.1 更新提高了模型质量。 |
code_gemma_7b_en | 8.54B | 70 亿参数、28 层的 CodeGemma 模型。此模型已针对代码补全的 FIM(填充中间)任务进行了训练。 |
code_gemma_instruct_7b_en | 8.54B | 70 亿参数、28 层的指令微调 CodeGemma 模型。此模型已针对与代码相关的聊天用例进行了训练。 |
code_gemma_1.1_instruct_7b_en | 8.54B | 70 亿参数、28 层的指令微调 CodeGemma 模型。此模型已针对与代码相关的聊天用例进行了训练。1.1 更新提高了模型质量。 |
gemma2_9b_en | 9.24B | 90 亿参数、42 层的基础 Gemma 模型。 |
gemma2_instruct_9b_en | 9.24B | 90 亿参数、42 层的指令微调 Gemma 模型。 |
shieldgemma_9b_en | 9.24B | 90 亿参数、42 层的 ShieldGemma 模型。 |
gemma2_27b_en | 27.23B | 270 亿参数、42 层的基础 Gemma 模型。 |
gemma2_instruct_27b_en | 27.23B | 270 亿参数、42 层的指令微调 Gemma 模型。 |
shieldgemma_27b_en | 27.23B | 270 亿参数、42 层的 ShieldGemma 模型。 |
token_embedding
属性keras_hub.models.GemmaBackbone.token_embedding
用于嵌入 token ID 的 keras.layers.Embedding
实例。
此层将整数 token ID 嵌入到模型的隐藏维度。
enable_lora
方法GemmaBackbone.enable_lora(rank, target_names=None)
在主干上启用 Lora。
调用此方法将冻结主干上的所有权重,同时在注意力层的查询和值 EinsumDense
层上启用 Lora。
get_layout_map
方法GemmaBackbone.get_layout_map(
device_mesh, model_parallel_dim_name="model", data_parallel_dim_name="batch"
)
获取用于模型并行分布的 keras.distribution.LayoutMap
。
返回的 LayoutMap
包含 Gemma 主干权重的分片规范,以便您可以将其用于跨加速器分布权重。
示例
# Feel free to change the mesh shape to balance data and model
# parallelism
mesh = keras.distribution.DeviceMesh(
shape=(1, 8), axis_names=('batch', 'model'),
devices=keras.distribution.list_devices())
layout_map = GemmaBackbone.get_layout_map(
mesh, model_parallel_dim_name="model")
distribution = keras.distribution.ModelParallel(
layout_map=layout_map, batch_dim_name='batch')
with distribution.scope():
gemma_model = keras_hub.models.GemmaCausalLM.from_preset()
要查看布局映射如何应用,请加载模型然后运行(针对一个解码器块):
embedding_layer = gemma_model.backbone.get_layer("token_embedding")
decoder_block_1 = gemma_model.backbone.get_layer('decoder_block_1')
for variable in embedding_layer.weights + decoder_block_1.weights:
print(
f'{variable.path:<58} {str(variable.shape):<16} '
f'{str(variable.value.sharding.spec)}'
)
参数
keras.distribution.DeviceMesh
实例。返回:包含所有模型权重的分片规范的 keras.distribution.LayoutMap
。