DeiTImageClassifier 类keras_hub.models.DeiTImageClassifier(
backbone,
num_classes,
preprocessor=None,
pooling="token",
activation=None,
dropout=0.0,
head_dtype=None,
**kwargs
)
DeiT 图像分类任务。
DeiTImageClassifier 任务封装了一个 keras_hub.models.DeiTBackbone 和一个 keras_hub.models.Preprocessor，以创建一个可用于图像分类的模型。DeiTImageClassifier 任务接受一个额外的 num_classes 参数，用于控制预测输出类别的数量。
要使用 fit() 进行微调，请传递一个包含 (x, y) 标签元组的数据集，其中 x 是字符串，y 是 [0, num_classes) 范围内的整数。
与 keras_hub.model.ImageClassifier 不同的是，DeiTImageClassifier 会提取 cls_token，这是来自骨干网络的第一个序列。
参数
keras_hub.models.DeiTBackbone 实例或一个 keras.Model。None、一个 keras_hub.models.Preprocessor 实例、一个 keras.Layer 实例或一个可调用对象。如果为 None，则不对输入应用任何预处理。"token"：一个单一向量（类别标记），代表整体图像特征。"gap"：一个单一向量，代表空间维度的平均特征。None、字符串或可调用对象。用于 Dense 层的激活函数。将 activation=None 设置为返回输出 logits。默认为 None。None、str 或 keras.mixed_precision.DTypePolicy。用于分类头计算和权重的 dtype。示例
调用 predict() 运行推理。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 384, 384, 3))
classifier = keras_hub.models.DeiTImageClassifier.from_preset(
"hf://facebook/deit-base-distilled-patch16-384"
)
classifier.predict(images)
在单个批次上调用 fit()。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 384, 384, 3))
labels = [0, 3]
classifier = keras_hub.models.DeiTImageClassifier.from_preset(
"hf://facebook/deit-base-distilled-patch16-384"
)
classifier.fit(x=images, y=labels, batch_size=2)
使用自定义损失、优化器和主干网络调用 fit()。
classifier = keras_hub.models.DeiTImageClassifier.from_preset(
"hf://facebook/deit-base-distilled-patch16-384"
)
classifier.compile(
loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer=keras.optimizers.Adam(5e-5),
)
classifier.backbone.trainable = False
classifier.fit(x=images, y=labels, batch_size=2)
自定义主干网络。
images = np.random.randint(0, 256, size=(2, 384, 384, 3))
labels = [0, 3]
backbone = keras_hub.models.DeiTBackbone(
image_shape = (384, 384, 3),
patch_size=16,
num_layers=6,
num_heads=3,
hidden_dim=768,
intermediate_dim=2048
)
classifier = keras_hub.models.DeiTImageClassifier(
backbone=backbone,
num_classes=4,
)
classifier.fit(x=images, y=labels, batch_size=2)
from_preset 方法DeiTImageClassifier.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您都可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过两种方式调用。一种方式是从特定任务的基类（如 keras_hub.models.CausalLM.from_preset()）调用，另一种方式是从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，返回对象的子类将从预设目录中的配置推断出来。
参数
True，已保存的权重将被加载到模型架构中。如果为 False，所有权重将被随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| deit_tiny_distilled_patch16_224_imagenet | 5.52M | DeiT-T16 模型在 ImageNet 1k 数据集上进行了预训练，图像分辨率为 224x224。 |
| deit_small_distilled_patch16_224_imagenet | 21.67M | DeiT-S16 模型在 ImageNet 1k 数据集上进行了预训练，图像分辨率为 224x224。 |
| deit_base_distilled_patch16_224_imagenet | 85.80M | DeiT-B16 模型在 ImageNet 1k 数据集上进行了预训练，图像分辨率为 224x224。 |
| deit_base_distilled_patch16_384_imagenet | 86.09M | DeiT-B16 模型在 ImageNet 1k 数据集上进行了预训练，图像分辨率为 384x384。 |
backbone 属性keras_hub.models.DeiTImageClassifier.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。
preprocessor 属性keras_hub.models.DeiTImageClassifier.preprocessor
用于预处理输入的 keras_hub.models.Preprocessor 层。