► KerasHub：预训练模型 / API 文档 / 模型架构 / MiT / MiTBackbone 模型

MiTBackbone 模型

[来源]

MiTBackbone 类

keras_hub.models.MiTBackbone(
    layerwise_depths,
    num_layers,
    layerwise_num_heads,
    layerwise_sr_ratios,
    max_drop_path_rate,
    layerwise_patch_sizes,
    layerwise_strides,
    image_shape=(None, None, 3),
    hidden_dims=None,
    **kwargs
)

一个具有特征金字塔输出的骨干网络。

FeaturePyramidBackbone 扩展了 Backbone，增加了一个 pyramid_outputs 属性，用于访问模型的特征金字塔输出。子类化器应在模型构造函数中设置 pyramid_outputs 属性。

示例

input_data = np.random.uniform(0, 256, size=(2, 224, 224, 3))

# Convert to feature pyramid output format using ResNet.
backbone = ResNetBackbone.from_preset("resnet50")
model = keras.Model(
    inputs=backbone.inputs, outputs=backbone.pyramid_outputs
)
model(input_data)  # A dict containing the keys ["P2", "P3", "P4", "P5"]

[来源]

from_preset 方法

MiTBackbone.from_preset(preset, load_weights=True, **kwargs)

从模型预设实例化一个 keras_hub.models.Backbone。

预设是一个配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递

  1. 内置预设标识符，例如 'bert_base_en'
  2. Kaggle Models 句柄，例如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
  4. 本地预设目录的路径，例如 './bert_base_en'

此构造函数可以通过两种方式调用。可以从基类调用，例如 keras_hub.models.Backbone.from_preset()，也可以从模型类调用，例如 keras_hub.models.GemmaBackbone.from_preset()。如果从基类调用，返回对象的子类将从预设目录中的配置推断出来。

对于任何 Backbone 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。

参数

  • preset：字符串。内置预设标识符、Kaggle Models 句柄、Hugging Face 句柄或本地目录的路径。
  • load_weights：布尔值。如果为 True，权重将加载到模型架构中。如果为 False，权重将随机初始化。

示例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)
预设 参数 描述
mit_b0_ade20k_512 3.32M 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b0_cityscapes_1024 3.32M 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b1_ade20k_512 13.16M 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b1_cityscapes_1024 13.16M 具有 8 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b2_ade20k_512 24.20M 具有 16 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b2_cityscapes_1024 24.20M 具有 16 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b3_ade20k_512 44.08M 具有 28 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b3_cityscapes_1024 44.08M 具有 28 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b4_ade20k_512 60.85M 具有 41 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b4_cityscapes_1024 60.85M 具有 41 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b5_ade20k_640 81.45M 具有 52 个 Transformer 块的 MiT (MixTransformer) 模型。
mit_b5_cityscapes_1024 81.45M 具有 52 个 Transformer 块的 MiT (MixTransformer) 模型。
MiTBackbone 模型
MiTBackbone 类
from_preset 方法