KerasHub:预训练模型 / API 文档 / 模型架构 / MiT / MiTBackbone 模型

MiTBackbone 模型

[源代码]

MiTBackbone

keras_hub.models.MiTBackbone(
    layerwise_depths,
    num_layers,
    layerwise_num_heads,
    layerwise_sr_ratios,
    max_drop_path_rate,
    layerwise_patch_sizes,
    layerwise_strides,
    image_shape=(None, None, 3),
    hidden_dims=None,
    **kwargs
)

一个带有特征金字塔输出的主干模型。

FeaturePyramidBackbone 扩展了 Backbone 类,增加了一个 pyramid_outputs 属性,用于访问模型的特征金字塔输出。子类应在模型构造函数中设置 pyramid_outputs 属性。

示例

input_data = np.random.uniform(0, 256, size=(2, 224, 224, 3))

# Convert to feature pyramid output format using ResNet.
backbone = ResNetBackbone.from_preset("resnet50")
model = keras.Model(
    inputs=backbone.inputs, outputs=backbone.pyramid_outputs
)
model(input_data)  # A dict containing the keys ["P2", "P3", "P4", "P5"]

[源代码]

from_preset 方法

MiTBackbone.from_preset(preset, load_weights=True, **kwargs)

从模型预设实例化一个 keras_hub.models.Backbone

预设是一个包含配置、权重和其他文件资源的目录,用于保存和加载预训练模型。preset 参数可以传入以下任一类型:

  1. 一个内置的预设标识符,例如 'bert_base_en'
  2. 一个 Kaggle Models 句柄,例如 'kaggle://user/bert/keras/bert_base_en'
  3. 一个 Hugging Face 句柄,例如 'hf://user/bert_base_en'
  4. 一个本地预设目录的路径,例如 './bert_base_en'

此构造函数可以通过两种方式调用。要么从基类调用,例如 keras_hub.models.Backbone.from_preset(),要么从模型类调用,例如 keras_hub.models.GemmaBackbone.from_preset()。如果从基类调用,返回对象的子类将从预设目录中的配置推断出来。

对于任何 Backbone 子类,您都可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。

参数

  • preset: 字符串。内置预设标识符、Kaggle Models 句柄、Hugging Face 句柄或本地目录的路径。
  • load_weights: 布尔值。如果为 True,则将权重加载到模型架构中。如果为 False,则权重将被随机初始化。

示例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)
预设 参数 描述
mit_b0_ade20k_512 3.32M MiT (MixTransformer) 模型,包含 8 个 transformer 块。
mit_b0_cityscapes_1024 3.32M MiT (MixTransformer) 模型,包含 8 个 transformer 块。
mit_b1_ade20k_512 13.16M MiT (MixTransformer) 模型,包含 8 个 transformer 块。
MiT (MixTransformer) 模型,包含 16 个 transformer 块。 13.16M MiT (MixTransformer) 模型,包含 8 个 transformer 块。
mit_b2_ade20k_512 24.20M MiT (MixTransformer) 模型,包含 16 个 transformer 块。
mit_b2_cityscapes_1024 24.20M MiT (MixTransformer) 模型,包含 16 个 transformer 块。
mit_b3_ade20k_512 44.08M MiT (MixTransformer) 模型,包含 28 个 transformer 块。
mit_b3_cityscapes_1024 44.08M MiT (MixTransformer) 模型,包含 28 个 transformer 块。
mit_b4_ade20k_512 60.85M MiT (MixTransformer) 模型,包含 41 个 transformer 块。
mit_b4_cityscapes_1024 60.85M MiT (MixTransformer) 模型,包含 41 个 transformer 块。
mit_b5_ade20k_640 81.45M MiT (MixTransformer) 模型,包含 52 个 transformer 块。
mit_b5_cityscapes_1024 81.45M MiT (MixTransformer) 模型,包含 52 个 transformer 块。