ViTImageClassifier 类keras_hub.models.ViTImageClassifier(
backbone,
num_classes,
preprocessor=None,
pooling="token",
intermediate_dim=None,
activation=None,
dropout=0.0,
head_dtype=None,
**kwargs
)
ViT 图像分类任务。
ViTImageClassifier 任务封装了 keras_hub.models.ViTBackbone 和 keras_hub.models.Preprocessor，以创建可用于图像分类的模型。ViTImageClassifier 任务接受一个额外的 num_classes 参数，用于控制预测输出类别的数量。
要使用 fit() 进行微调，请传入包含 (x, y) 标签元组的数据集，其中 x 是一个字符串，y 是一个介于 [0, num_classes) 之间的整数。
需要注意的是，与 keras_hub.model.ImageClassifier 不同，ViTImageClassifier 从 backbone 中提取了第一个序列 cls_token。
参数
keras_hub.models.ViTBackbone 实例或一个 keras.Model。None，一个 keras_hub.models.Preprocessor 实例，一个 keras.Layer 实例，或一个可调用对象。如果为 None，则不会对输入应用预处理。"token"：一个表示整体图像特征的单个向量（类标记）。"gap"：一个表示跨空间维度平均特征的单个向量。None，则直接使用 transformer 的输出。默认为 None。None，str，或可调用对象。用于 Dense 层的激活函数。设置为 activation=None 可返回输出 logits。默认为 "softmax"。None，str，或 keras.mixed_precision.DTypePolicy。用于分类头计算和权重的 dtype。示例
调用 predict() 运行推理。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
classifier = keras_hub.models.ViTImageClassifier.from_preset(
"vgg_16_imagenet"
)
classifier.predict(images)
在单个批次上调用 fit()。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
classifier = keras_hub.models.VGGImageClassifier.from_preset(
"vit_base_patch16_224"
)
classifier.fit(x=images, y=labels, batch_size=2)
使用自定义损失、优化器和 backbone 调用 fit()。
classifier = keras_hub.models.VGGImageClassifier.from_preset(
"vit_base_patch16_224"
)
classifier.compile(
loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer=keras.optimizers.Adam(5e-5),
)
classifier.backbone.trainable = False
classifier.fit(x=images, y=labels, batch_size=2)
自定义 backbone。
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
model = keras_hub.models.ViTBackbone(
image_shape = (224, 224, 3),
patch_size=16,
num_layers=6,
num_heads=3,
hidden_dim=768,
mlp_dim=2048
)
classifier = keras_hub.models.ViTImageClassifier(
backbone=backbone,
num_classes=4,
)
classifier.fit(x=images, y=labels, batch_size=2)
from_preset 方法ViTImageClassifier.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是用于保存和加载预训练模型的配置、权重和其他文件资产的目录。preset 可以是以下之一：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过以下两种方式之一调用。既可以从任务特定的基类调用，例如 keras_hub.models.CausalLM.from_preset()，也可以从模型类调用，例如 keras_hub.models.BertTextClassifier.from_preset()。如果从基类调用，则返回对象的子类将从预设目录中的配置推断。
参数
True，则会将保存的权重加载到模型架构中。如果为 False，则所有权重将被随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| vit_base_patch16_224_imagenet | 85.80M | 在 ImageNet 1k 数据集上预训练的 ViT-B16 模型，图像分辨率为 224x224 |
| vit_base_patch16_224_imagenet21k | 85.80M | 在 ImageNet 21k 数据集上预训练的 ViT-B16 backbone，图像分辨率为 224x224 |
| vit_base_patch16_384_imagenet | 86.09M | 在 ImageNet 1k 数据集上预训练的 ViT-B16 模型，图像分辨率为 384x384 |
| vit_base_patch32_224_imagenet21k | 87.46M | 在 ImageNet 21k 数据集上预训练的 ViT-B32 backbone，图像分辨率为 224x224 |
| vit_base_patch32_384_imagenet | 87.53M | 在 ImageNet 1k 数据集上预训练的 ViT-B32 模型，图像分辨率为 384x384 |
| vit_large_patch16_224_imagenet | 303.30M | 在 ImageNet 1k 数据集上预训练的 ViT-L16 模型，图像分辨率为 224x224 |
| vit_large_patch16_224_imagenet21k | 303.30M | 在 ImageNet 21k 数据集上预训练的 ViT-L16 backbone，图像分辨率为 224x224 |
| vit_large_patch16_384_imagenet | 303.69M | 在 ImageNet 1k 数据集上预训练的 ViT-L16 模型，图像分辨率为 384x384 |
| vit_large_patch32_224_imagenet21k | 305.51M | 在 ImageNet 21k 数据集上预训练的 ViT-L32 backbone，图像分辨率为 224x224 |
| vit_large_patch32_384_imagenet | 305.61M | 在 ImageNet 1k 数据集上预训练的 ViT-L32 模型，图像分辨率为 384x384 |
| vit_huge_patch14_224_imagenet21k | 630.76M | 在 ImageNet 21k 数据集上预训练的 ViT-H14 backbone，图像分辨率为 224x224 |
backbone 属性keras_hub.models.ViTImageClassifier.backbone
一个包含核心架构的 keras_hub.models.Backbone 模型。
preprocessor 属性keras_hub.models.ViTImageClassifier.preprocessor
一个用于预处理输入的 keras_hub.models.Preprocessor 层。