SegFormerImageSegmenter 类keras_hub.models.SegFormerImageSegmenter(
backbone, num_classes, preprocessor=None, **kwargs
)
一个实现 SegFormer 用于语义分割的 Keras 模型。
此类实现了 SegFormer 架构的分割头，该架构在 [SegFormer：使用 Transformer 进行语义分割的简单高效设计] (https://arxiv.org/abs/2105.15203) 中有描述，并 [基于 DeepVision 的 TensorFlow 实现] (https://github.com/DavidLandup0/deepvision/tree/main/deepvision/models/segmentation/segformer)。
SegFormer 设计用于 MixTransformer (MiT) 编码器系列，并使用一个非常轻量级的全 MLP 解码器头。
MiT 编码器使用分层 Transformer，其输出特征具有多个尺度，类似于通常与 CNN 相关的分层输出。
参数
keras.Model. 模型的骨干网络，用作 SegFormer 编码器的特征提取器。它*旨在*仅与专门为 SegFormer 创建的 MiT 骨干模型 (keras_hub.models.MiTBackbone) 一起使用。或者，也可以是 keras_hub.models.Backbone 模型，是 keras_hub.models.FeaturePyramidBackbone 的子类，或者是具有 pyramid_outputs 属性的 keras.Model，其中 pyramid_outputs 是一个字典，键为 "P2", "P3", "P4", "P5"，值为层名称。示例
使用预设
segmenter = keras_hub.models.SegFormerImageSegmenter.from_preset(
"segformer_b0_ade20k_512"
)
images = np.random.rand(1, 512, 512, 3)
segformer(images)
使用 SegFormer 骨干
encoder = keras_hub.models.MiTBackbone.from_preset(
"mit_b0_ade20k_512"
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
将 SegFormer 骨干与自定义编码器一起使用
images = np.ones(shape=(1, 96, 96, 3))
labels = np.zeros(shape=(1, 96, 96, 1))
encoder = keras_hub.models.MiTBackbone(
depths=[2, 2, 2, 2],
image_shape=(96, 96, 3),
hidden_dims=[32, 64, 160, 256],
num_layers=4,
blockwise_num_heads=[1, 2, 5, 8],
blockwise_sr_ratios=[8, 4, 2, 1],
max_drop_path_rate=0.1,
patch_sizes=[7, 3, 3, 3],
strides=[4, 2, 2, 2],
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
segformer = keras_hub.models.SegFormerImageSegmenter(
backbone=backbone,
num_classes=4,
)
segformer(images
将分割器类与预设骨干一起使用
image_encoder = keras_hub.models.MiTBackbone.from_preset(
"mit_b0_ade20k_512"
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
segformer = keras_hub.models.SegFormerImageSegmenter(
backbone=backbone,
num_classes=4,
)
from_preset 方法SegFormerImageSegmenter.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是用于保存和加载预训练模型的配置、权重及其他文件资产的目录。可以将 preset 作为以下之一传入：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您可以运行 cls.presets.keys() 以列出该类上所有可用的内置预设。
此构造函数可以通过两种方式之一调用。可以从任务特定的基类（例如 keras_hub.models.CausalLM.from_preset()）调用，也可以从模型类（例如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，返回对象的子类将从预设目录中的配置中推断出来。
参数
True，保存的权重将加载到模型架构中。如果为 False，所有权重将随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| segformer_b0_ade20k_512 | 3.72M | 具有 MiTB0 骨干的 SegFormer 模型，在 ADE20k 上以 512x512 分辨率进行微调。 |
| segformer_b0_cityscapes_1024 | 3.72M | 具有 MiTB0 骨干的 SegFormer 模型，在 Cityscapes 上以 1024x1024 分辨率进行微调。 |
| segformer_b1_ade20k_512 | 13.68M | 具有 MiTB1 骨干的 SegFormer 模型，在 ADE20k 上以 512x512 分辨率进行微调。 |
| segformer_b1_cityscapes_1024 | 13.68M | 具有 MiTB1 骨干的 SegFormer 模型，在 Cityscapes 上以 1024x1024 分辨率进行微调。 |
| segformer_b2_ade20k_512 | 24.73M | 具有 MiTB2 骨干的 SegFormer 模型，在 ADE20k 上以 512x512 分辨率进行微调。 |
| segformer_b2_cityscapes_1024 | 24.73M | 具有 MiTB2 骨干的 SegFormer 模型，在 Cityscapes 上以 1024x1024 分辨率进行微调。 |
| segformer_b3_ade20k_512 | 44.60M | 具有 MiTB3 骨干的 SegFormer 模型，在 ADE20k 上以 512x512 分辨率进行微调。 |
| segformer_b3_cityscapes_1024 | 44.60M | 具有 MiTB3 骨干的 SegFormer 模型，在 Cityscapes 上以 1024x1024 分辨率进行微调。 |
| segformer_b4_ade20k_512 | 61.37M | 具有 MiTB4 骨干的 SegFormer 模型，在 ADE20k 上以 512x512 分辨率进行微调。 |
| segformer_b4_cityscapes_1024 | 61.37M | 具有 MiTB4 骨干的 SegFormer 模型，在 Cityscapes 上以 1024x1024 分辨率进行微调。 |
| segformer_b5_ade20k_640 | 81.97M | 具有 MiTB5 骨干的 SegFormer 模型，在 ADE20k 上以 640x640 分辨率进行微调。 |
| segformer_b5_cityscapes_1024 | 81.97M | 具有 MiTB5 骨干的 SegFormer 模型，在 Cityscapes 上以 1024x1024 分辨率进行微调。 |
backbone 属性keras_hub.models.SegFormerImageSegmenter.backbone
一个包含核心架构的 keras_hub.models.Backbone 模型。
preprocessor 属性keras_hub.models.SegFormerImageSegmenter.preprocessor
一个用于预处理输入的 keras_hub.models.Preprocessor 层。