T5GemmaBackbone 模型

[源代码]

T5GemmaBackbone 类

keras_hub.models.T5GemmaBackbone(
    vocabulary_size,
    encoder_hidden_dim,
    encoder_intermediate_dim,
    encoder_num_layers,
    encoder_num_attention_heads,
    encoder_num_key_value_heads,
    encoder_head_dim,
    encoder_layer_types,
    decoder_hidden_dim,
    decoder_intermediate_dim,
    decoder_num_layers,
    decoder_num_attention_heads,
    decoder_num_key_value_heads,
    decoder_head_dim,
    decoder_layer_types,
    dropout_rate=0.0,
    rms_norm_eps=1e-06,
    query_pre_attn_scalar=1.0,
    attention_bias=False,
    hidden_activation="gelu_approximate",
    tie_word_embeddings=True,
    initializer_range=0.02,
    attention_dropout=0.0,
    sliding_window=None,
    cross_attention_hidden_size=None,
    attn_logit_softcapping=None,
    final_logit_softcapping=None,
    rope_max_wavelength=10000.0,
    dtype=None,
    **kwargs
)

T5Gemma 骨干模型。

此类实现了 T5Gemma 模型的编码器-解码器骨干，包括一个嵌入层、一堆编码器层和一堆解码器层。

参数

• vocabulary_size: int, 词汇表的大小。
• encoder_hidden_dim: int, 编码器的隐藏维度。
• encoder_intermediate_dim: int, 编码器前馈网络的中间大小。
• encoder_num_layers: int, 编码器层的数量。
• encoder_num_attention_heads: int, 编码器中的注意力头数。
• encoder_num_key_value_heads: int, 编码器中的键值头数。
• encoder_head_dim: int, 编码器中每个注意力头的维度。
• encoder_layer_types: list of str, 一个字符串列表，指定每个编码器层的注意力层类型。每个元素可以是 "sliding_attention" 或 "full_attention"。例如，["full_attention", "sliding_attention", ...]。
• decoder_hidden_dim: int, 解码器的隐藏维度。
• decoder_intermediate_dim: int, 解码器前馈网络的中间大小。
• decoder_num_layers: int, 解码器层的数量。
• decoder_num_attention_heads: int, 解码器中的注意力头数。
• decoder_num_key_value_heads: int, 解码器中的键值头数。
• decoder_head_dim: int, 解码器中每个注意力头的维度。
• decoder_layer_types: list of str, 一个字符串列表，指定每个解码器层的注意力层类型。每个元素可以是 "sliding_attention" 或 "full_attention"。例如，["full_attention", "sliding_attention", ...]。
• dropout_rate: float, 应用于整个模型的 dropout 率。默认为 0.0。
• rms_norm_eps: float, RMS 归一化的 epsilon 值。默认为 1e-6。
• query_pre_attn_scalar: float, 在注意力之前乘以查询的标量。默认为 1.0。
• attention_bias: bool, 是否在注意力计算中包含偏置。默认为 False。
• hidden_activation: str, 前馈网络中使用的激活函数。默认为 "gelu_approximate"。
• tie_word_embeddings: bool, 是否绑定输入和输出词嵌入。默认为 True。
• initializer_range: float, 随机正态初始化器的范围。默认为 0.02。
• attention_dropout: float, 应用于注意力权重的 dropout 率。默认为 0.0。
• sliding_window: int, optional, 滑动注意力的窗口大小。如果任何 layer_type 为 "sliding_attention"，则需要此参数。默认为 None。
• cross_attention_hidden_size: int, optional, 解码器层中交叉注意力的隐藏大小。如果为 None，则默认为 encoder_hidden_dim。默认为 None。
• attn_logit_softcapping: float, optional, 注意力 logits 的 softcapping 值。默认为 None。
• final_logit_softcapping: float, optional, 最终 logits 的 softcapping 值。默认为 None。
• rope_max_wavelength: float, 旋转位置嵌入的最大波长。默认为 10000.0。
• dtype: string 或 keras.mixed_precision.DTypePolicy。用于模型计算和权重的 dtype。请注意，某些计算（如 softmax 和层归一化）始终会以 float32 精度进行，无论 dtype 如何。默认为 None。
• **kwargs: 传递给父类 Backbone 的其他关键字参数。

示例

import numpy as np
from keras_hub.models import T5GemmaBackbone

input_data = {
    "encoder_token_ids": np.ones(shape=(1, 12), dtype="int32"),
    "encoder_padding_mask": np.array(
        [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]], dtype="int32"
    ),
    "decoder_token_ids": np.ones(shape=(1, 8), dtype="int32"),
    "decoder_padding_mask": np.array(
        [[1, 1, 1, 1, 1, 1, 1, 1]], dtype="int32"
    ),
}

# Randomly initialized T5Gemma backbone with custom config.
model = T5GemmaBackbone(
    vocabulary_size=32000,
    # Encoder parameters.
    encoder_hidden_dim=256,
    encoder_intermediate_dim=512,
    encoder_num_layers=4,
    encoder_num_attention_heads=4,
    encoder_num_key_value_heads=2,
    encoder_head_dim=64,
    encoder_layer_types=["full_attention"] * 4,
    # Decoder parameters.
    decoder_hidden_dim=256,
    decoder_intermediate_dim=512,
    decoder_num_layers=4,
    decoder_num_attention_heads=4,
    decoder_num_key_value_heads=2,
    decoder_head_dim=64,
    decoder_layer_types=["full_attention"] * 4,
    # Common parameters.
    dropout_rate=0.1,
    rms_norm_eps=1e-6,
    query_pre_attn_scalar=1.0,
    attention_bias=False,
    hidden_activation="gelu_approximate",
)
output = model(input_data)

[源代码]

from_preset 方法

T5GemmaBackbone.from_preset(preset, load_weights=True, **kwargs)

从模型预设实例化一个 keras_hub.models.Backbone。

预设是一个包含配置、权重和其他文件资源的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：

1. 一个内置的预设标识符，如 'bert_base_en'
2. 一个 Kaggle Models 句柄，如 'kaggle://user/bert/keras/bert_base_en'
3. 一个 Hugging Face 句柄，如 'hf://user/bert_base_en'
4. 一个 ModelScope 句柄，例如 'modelscope://user/bert_base_en'。
5. 一个本地预设目录的路径，如 './bert_base_en'

此构造函数可以通过两种方式之一调用。要么从基类调用，如 keras_hub.models.Backbone.from_preset()，要么从模型类调用，如 keras_hub.models.GemmaBackbone.from_preset()。如果从基类调用，则返回对象的子类将根据预设目录中的配置进行推断。

对于任何 Backbone 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。

参数

• preset：字符串。一个内置预设标识符、一个 Kaggle Models 句柄、一个 Hugging Face 句柄或一个本地目录的路径。
• load_weights：布尔值。如果为 `True`，权重将被加载到模型架构中。如果为 `False`，权重将被随机初始化。

示例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)

token_embedding 属性

keras_hub.models.T5GemmaBackbone.token_embedding

一个用于嵌入词元 ID 的 keras.layers.Embedding 实例。

该层将整数词元 ID 嵌入到模型的隐藏维度。