► KerasHub：预训练模型 / API 文档 / 模型架构 / MiT / MiTImageClassifier 模型

MiTImageClassifier 模型

[源代码]

MiTImageClassifier 类

keras_hub.models.MiTImageClassifier(
    backbone,
    num_classes,
    preprocessor=None,
    pooling="avg",
    activation=None,
    dropout=0.0,
    head_dtype=None,
    **kwargs
)

所有图像分类任务的基类。

ImageClassifier 任务包装了一个 keras_hub.models.Backbone 和一个 keras_hub.models.Preprocessor，以创建一个可用于图像分类的模型。ImageClassifier 任务接受一个额外的 num_classes 参数，用于控制预测输出类别的数量。

要使用 fit() 进行微调，请传递一个包含 (x, y) 标签元组的数据集，其中 x 是一个字符串，y 是一个来自 [0, num_classes) 的整数。所有 ImageClassifier 任务都包含一个 from_preset() 构造函数，可用于加载预训练的配置和权重。

参数

  • backbone：keras_hub.models.Backbone 实例或 keras.Model。
  • num_classes：int。要预测的类别数量。
  • preprocessor：None，keras_hub.models.Preprocessor 实例，keras.Layer 实例，或可调用对象。如果为 None，则不会对输入应用任何预处理。
  • pooling："avg" 或 "max"。应用于 backbone 输出的池化类型。默认为平均池化。
  • activation：None，str 或可调用对象。要在 Dense 层上使用的激活函数。设置 activation=None 以返回输出 logits。默认为 "softmax"。
  • head_dtype：None，str 或 keras.mixed_precision.DTypePolicy。用于分类头的计算和权重的 dtype。

示例

调用 predict() 以运行推理。

# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
classifier = keras_hub.models.ImageClassifier.from_preset(
    "resnet_50_imagenet"
)
classifier.predict(images)

在单个批次上调用 fit()。

# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
classifier = keras_hub.models.ImageClassifier.from_preset(
    "resnet_50_imagenet"
)
classifier.fit(x=images, y=labels, batch_size=2)

使用自定义损失、优化器和 backbone 调用 fit()。

classifier = keras_hub.models.ImageClassifier.from_preset(
    "resnet_50_imagenet"
)
classifier.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(5e-5),
)
classifier.backbone.trainable = False
classifier.fit(x=images, y=labels, batch_size=2)

自定义 backbone。

images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
backbone = keras_hub.models.ResNetBackbone(
    stackwise_num_filters=[64, 64, 64],
    stackwise_num_blocks=[2, 2, 2],
    stackwise_num_strides=[1, 2, 2],
    block_type="basic_block",
    use_pre_activation=True,
    pooling="avg",
)
classifier = keras_hub.models.ImageClassifier(
    backbone=backbone,
    num_classes=4,
)
classifier.fit(x=images, y=labels, batch_size=2)

[源代码]

from_preset 方法

MiTImageClassifier.from_preset(preset, load_weights=True, **kwargs)

从模型预设实例化一个 keras_hub.models.Task。

预设是配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递

  1. 内置预设标识符，如 'bert_base_en'
  2. Kaggle Models 句柄，如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face 句柄，如 'hf://user/bert_base_en'
  4. 本地预设目录的路径，如 './bert_base_en'

对于任何 Task 子类，您可以运行 cls.presets.keys() 以列出该类上所有可用的内置预设。

此构造函数可以通过两种方式之一调用。可以从任务特定的基类（如 keras_hub.models.CausalLM.from_preset()）调用，也可以从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，则返回对象的子类将从预设目录中的配置推断出来。

参数

  • preset：字符串。内置预设标识符、Kaggle Models 句柄、Hugging Face 句柄或本地目录的路径。
  • load_weights：布尔值。如果为 True，则保存的权重将加载到模型架构中。如果为 False，则所有权重都将随机初始化。

示例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)
预设 参数 描述
mit_b0_ade20k_512 3.32M 具有 8 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b0_cityscapes_1024 3.32M 具有 8 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b1_ade20k_512 13.16M 具有 8 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b1_cityscapes_1024 13.16M 具有 8 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b2_ade20k_512 24.20M 具有 16 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b2_cityscapes_1024 24.20M 具有 16 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b3_ade20k_512 44.08M 具有 28 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b3_cityscapes_1024 44.08M 具有 28 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b4_ade20k_512 60.85M 具有 41 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b4_cityscapes_1024 60.85M 具有 41 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b5_ade20k_640 81.45M 具有 52 个 transformer 块的 MiT (MixTransformer) 模型。
mit_b5_cityscapes_1024 81.45M 具有 52 个 transformer 块的 MiT (MixTransformer) 模型。

backbone 属性

keras_hub.models.MiTImageClassifier.backbone

具有核心架构的 keras_hub.models.Backbone 模型。

preprocessor 属性

keras_hub.models.MiTImageClassifier.preprocessor

用于预处理输入的 keras_hub.models.Preprocessor 层。

MiTImageClassifier 模型
MiTImageClassifier 类
from_preset 方法
backbone 属性
preprocessor 属性