MiTImageClassifier 类keras_hub.models.MiTImageClassifier(
backbone,
num_classes,
preprocessor=None,
pooling="avg",
activation=None,
dropout=0.0,
head_dtype=None,
**kwargs
)
所有图像分类任务的基类。
ImageClassifier 任务包装了一个 keras_hub.models.Backbone 和一个 keras_hub.models.Preprocessor 来创建一个可用于图像分类的模型。ImageClassifier 任务接受一个额外的 num_classes 参数，用于控制预测输出类的数量。
要使用 fit() 进行微调，请传入一个包含 (x, y) 标签元组的数据集，其中 x 是字符串，y 是来自 [0, num_classes) 的整数。所有 ImageClassifier 任务都包含一个 from_preset() 构造函数，可用于加载预训练配置和权重。
参数
keras_hub.models.Backbone 实例或一个 keras.Model。None，一个 keras_hub.models.Preprocessor 实例，一个 keras.Layer 实例，或一个可调用对象。如果为 None，则不会对输入应用预处理。"avg" 或 "max"。要应用于主干网络输出的池化类型。默认为平均池化。None、str 或可调用对象。用于 Dense 层的激活函数。设置为 activation=None 将返回输出 logits。默认为 "softmax"。None、str 或 keras.mixed_precision.DTypePolicy。用于分类头计算和权重的 dtype。示例
调用 predict() 运行推理。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
classifier = keras_hub.models.ImageClassifier.from_preset(
"resnet_50_imagenet"
)
classifier.predict(images)
对单个批次调用 fit()。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
classifier = keras_hub.models.ImageClassifier.from_preset(
"resnet_50_imagenet"
)
classifier.fit(x=images, y=labels, batch_size=2)
使用自定义损失、优化器和主干网络调用 fit()。
classifier = keras_hub.models.ImageClassifier.from_preset(
"resnet_50_imagenet"
)
classifier.compile(
loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer=keras.optimizers.Adam(5e-5),
)
classifier.backbone.trainable = False
classifier.fit(x=images, y=labels, batch_size=2)
自定义主干网络。
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
backbone = keras_hub.models.ResNetBackbone(
stackwise_num_filters=[64, 64, 64],
stackwise_num_blocks=[2, 2, 2],
stackwise_num_strides=[1, 2, 2],
block_type="basic_block",
use_pre_activation=True,
pooling="avg",
)
classifier = keras_hub.models.ImageClassifier(
backbone=backbone,
num_classes=4,
)
classifier.fit(x=images, y=labels, batch_size=2)
from_preset 方法MiTImageClassifier.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传入：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过以下两种方式之一调用。可以从任务特定的基类（例如 keras_hub.models.CausalLM.from_preset()）调用，也可以从模型类（例如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，返回对象的子类将从预设目录中的配置推断。
参数
True，则将加载保存的权重到模型架构中。如果为 False，则所有权重将随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| mit_b0_ade20k_512 | 3.32M | 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b0_cityscapes_1024 | 3.32M | 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b1_ade20k_512 | 13.16M | 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b1_cityscapes_1024 | 13.16M | 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b2_ade20k_512 | 24.20M | 具有 16 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b2_cityscapes_1024 | 24.20M | 具有 16 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b3_ade20k_512 | 44.08M | 具有 28 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b3_cityscapes_1024 | 44.08M | 具有 28 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b4_ade20k_512 | 60.85M | 具有 41 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b4_cityscapes_1024 | 60.85M | 具有 41 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b5_ade20k_640 | 81.45M | 具有 52 个 Transformer 块的 MiT (MixTransformer) 模型。 |
| mit_b5_cityscapes_1024 | 81.45M | 具有 52 个 Transformer 块的 MiT (MixTransformer) 模型。 |
backbone 属性keras_hub.models.MiTImageClassifier.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。
preprocessor 属性keras_hub.models.MiTImageClassifier.preprocessor
一个用于预处理输入的 keras_hub.models.Preprocessor 层。