PaliGemmaBackbone
类keras_hub.models.PaliGemmaBackbone(
vocabulary_size,
image_size,
num_layers,
num_query_heads,
num_key_value_heads,
hidden_dim,
intermediate_dim,
head_dim,
vit_patch_size,
vit_num_heads,
vit_hidden_dim,
vit_num_layers,
vit_intermediate_dim=None,
vit_pooling=None,
vit_classifier_activation=None,
vit_name=None,
query_head_dim_normalize=True,
use_post_ffw_norm=False,
use_post_attention_norm=False,
attention_logit_soft_cap=None,
final_logit_soft_cap=None,
use_sliding_window_attention=False,
sliding_window_size=4096,
layer_norm_epsilon=1e-06,
dropout=0,
dtype=None,
**kwargs
)
具有超参数的 PaliGemma 核心网络。
此骨干网络实现了混合模态 PaliGemma 架构。它包含一个视觉 Transformer 网络以及文本 token 嵌入层,后跟一个与后端无关的连接操作,以构建混合类型嵌入(视觉和文本)的表示序列。然后,连接后的序列通过一系列混合模态解码器块。调用此模型返回的值表示输出 token 的概率值。
有关更高层级的文本生成对象,请参阅 keras_hub.models.PaliGemmaCausalLM
。
默认构造函数提供了一个完全可定制、随机初始化的 PaliGemma 模型,可以有任意数量的 vit 层、头部、嵌入维度以及 PaliGemma 解码器层的等效配置。要加载预设架构和权重,请使用 from_preset
构造函数。
参数
4304
。None
或字符串。使用指定的池化设置对编码后的视觉嵌入进行池化。接受的值为 "map"
、"gap"
、"0"
或 None
。默认为 None
。None
。True
,在注意力计算前使用 head_dim
对查询进行归一化。如果为 False
,使用 hidden_dim / num_query_heads
对查询进行归一化。默认为 True
。False
。False
。None
或 int。注意力 logits 的软上限。默认为 None
。None
或 int。最终 logits 的软上限。默认为 None
。False
。4096
。1e-6
。0
。keras.mixed_precision.DTypePolicy
。用于模型计算和权重的 dtype。注意,某些计算(例如 softmax 和层归一化)无论 dtype 如何,始终以 float32 精度执行。示例
input_data = {
"token_ids": np.ones(shape=(1, 12), dtype="int32"),
"images": np.random.uniform(size=(1, 224, 224, 3)),
"padding_mask": np.array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]]),
}
# Pretrained PaliGemma decoder.
model = keras_hub.models.PaliGemmaBackbone.from_preset("pali_gemma_mix_224")
model(input_data)
# Randomly initialized PaliGemma decoder with custom config.
model = keras_hub.models.PaliGemmaBackbone(
vocabulary_size=50257,
images_size=224,
num_layers=12,
num_query_heads=12,
num_key_value_heads=1,
hidden_dim=768,
intermediate_dim=3072,
head_dim=64,
vit_patch_size=14,
vit_num_heads=8,
vit_hidden_dim=768,
vit_intermediate_dim=3072,
vit_num_layers=2,
)
model(input_data)
from_preset
方法PaliGemmaBackbone.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Backbone
。
预设是包含配置、权重和其他文件资产的目录,用于保存和加载预训练模型。preset
可以是以下之一:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
此构造函数可以通过两种方式调用。可以从基类调用,例如 keras_hub.models.Backbone.from_preset()
,或者从模型类调用,例如 keras_hub.models.GemmaBackbone.from_preset()
。如果从基类调用,返回对象的子类将从预设目录中的配置推断。
对于任何 Backbone
子类,您都可以运行 cls.presets.keys()
来列出该类上所有可用的内置预设。
参数
True
,权重将加载到模型架构中。如果为 False
,权重将随机初始化。示例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
预设 | 参数 | 描述 |
---|---|---|
pali_gemma_3b_mix_224 | 2.92B | 图像尺寸 224,混合微调,文本序列长度为 256 |
pali_gemma_3b_224 | 2.92B | 图像尺寸 224,预训练,文本序列长度为 128 |
pali_gemma_3b_mix_448 | 2.92B | 图像尺寸 448,混合微调,文本序列长度为 512 |
pali_gemma_3b_448 | 2.92B | 图像尺寸 448,预训练,文本序列长度为 512 |
pali_gemma_3b_896 | 2.93B | 图像尺寸 896,预训练,文本序列长度为 512 |
pali_gemma2_mix_3b_224 | 3.03B | 30亿参数,图像尺寸 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在广泛的视觉-语言任务和领域上进行微调。 |
pali_gemma2_pt_3b_224 | 3.03B | 30亿参数,图像尺寸 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在混合数据集上进行预训练。 |
pali_gemma_2_ft_docci_3b_448 | 3.03B | 30亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在 DOCCI 数据集上进行微调,以改进带有细粒度细节的描述。 |
pali_gemma2_mix_3b_448 | 3.03B | 30亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在广泛的视觉-语言任务和领域上进行微调。 |
pali_gemma2_pt_3b_448 | 3.03B | 30亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_pt_3b_896 | 3.04B | 30亿参数,图像尺寸 896,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_mix_10b_224 | 9.66B | 100亿参数,图像尺寸 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在广泛的视觉-语言任务和领域上进行微调。 |
pali_gemma2_pt_10b_224 | 9.66B | 100亿参数,图像尺寸 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_ft_docci_10b_448 | 9.66B | 100亿参数,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在 DOCCI 数据集上进行微调,以改进带有细粒度细节的描述。 |
pali_gemma2_mix_10b_448 | 9.66B | 100亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在广泛的视觉-语言任务和领域上进行微调。 |
pali_gemma2_pt_10b_448 | 9.66B | 100亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_pt_10b_896 | 9.67B | 100亿参数,图像尺寸 896,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_mix_28b_224 | 27.65B | 280亿参数,图像尺寸 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在广泛的视觉-语言任务和领域上进行微调。 |
pali_gemma2_mix_28b_448 | 27.65B | 280亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在广泛的视觉-语言任务和领域上进行微调。 |
pali_gemma2_pt_28b_224 | 27.65B | 280亿参数,图像尺寸 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_pt_28b_448 | 27.65B | 280亿参数,图像尺寸 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在混合数据集上进行预训练。 |
pali_gemma2_pt_28b_896 | 27.65B | 280亿参数,图像尺寸 896,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在混合数据集上进行预训练。 |
token_embedding
属性keras_hub.models.PaliGemmaBackbone.token_embedding
一个用于嵌入 token ID 的 keras.layers.Embedding
实例。
此层将整数 token ID 嵌入到模型的隐藏维度中。