SegFormerImageSegmenter 类keras_hub.models.SegFormerImageSegmenter(
backbone, num_classes, preprocessor=None, **kwargs
)
实现 SegFormer 进行语义分割的 Keras 模型。
此类实现了 SegFormer 架构的分割头部，该架构在 [SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers] (https://arxiv.org/abs/2105.15203) 中进行了描述，并 [基于 DeepVision 的 TensorFlow 实现] (https://github.com/DavidLandup0/deepvision/tree/main/deepvision/models/segmentation/segformer)。
SegFormers 通常与 MixTransformer (MiT) 编码器系列一起使用，并使用一个非常轻量级的全 MLP 解码器头部。
MiT 编码器使用分层 Transformer，它输出多尺度的特征，类似于通常与 CNN 相关联的分层输出。
参数
keras.Model。模型的骨干网络，用作 SegFormer 编码器的特征提取器。它*意图*仅与 MiT 骨干模型（keras_hub.models.MiTBackbone）一起使用，该模型是专门为 SegFormers 创建的。或者，也可以是 keras_hub.models.Backbone，一个子类化 keras_hub.models.FeaturePyramidBackbone 的模型，或者一个具有 pyramid_outputs 属性的 keras.Model，该属性是一个字典，键为 "P2"、"P3"、"P4" 和 "P5"，值为层名。示例
使用预设模型
segmenter = keras_hub.models.SegFormerImageSegmenter.from_preset(
"segformer_b0_ade20k_512"
)
images = np.random.rand(1, 512, 512, 3)
segformer(images)
使用 SegFormer 骨干网络
encoder = keras_hub.models.MiTBackbone.from_preset(
"mit_b0_ade20k_512"
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
使用自定义编码器的 SegFormer 骨干网络
images = np.ones(shape=(1, 96, 96, 3))
labels = np.zeros(shape=(1, 96, 96, 1))
encoder = keras_hub.models.MiTBackbone(
depths=[2, 2, 2, 2],
image_shape=(96, 96, 3),
hidden_dims=[32, 64, 160, 256],
num_layers=4,
blockwise_num_heads=[1, 2, 5, 8],
blockwise_sr_ratios=[8, 4, 2, 1],
max_drop_path_rate=0.1,
patch_sizes=[7, 3, 3, 3],
strides=[4, 2, 2, 2],
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
segformer = keras_hub.models.SegFormerImageSegmenter(
backbone=backbone,
num_classes=4,
)
segformer(images
使用带有预设骨干网络的分割器类
image_encoder = keras_hub.models.MiTBackbone.from_preset(
"mit_b0_ade20k_512"
)
backbone = keras_hub.models.SegFormerBackbone(
image_encoder=encoder,
projection_filters=256,
)
segformer = keras_hub.models.SegFormerImageSegmenter(
backbone=backbone,
num_classes=4,
)
from_preset 方法SegFormerImageSegmenter.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您都可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过两种方式调用。一种方式是从特定任务的基类（如 keras_hub.models.CausalLM.from_preset()）调用，另一种方式是从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，返回对象的子类将从预设目录中的配置推断出来。
参数
True，已保存的权重将被加载到模型架构中。如果为 False，所有权重将被随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| segformer_b0_ade20k_512 | 3.72M | 在 512x512 分辨率的 ADE20k 数据集上微调的、带有 MiTB0 骨干网络的 SegFormer 模型。 |
| segformer_b0_cityscapes_1024 | 3.72M | 在 1024x1024 分辨率的 Cityscapes 数据集上微调的、带有 MiTB0 骨干网络的 SegFormer 模型。 |
| segformer_b1_ade20k_512 | 13.68M | 在 512x512 分辨率的 ADE20k 数据集上微调的、带有 MiTB1 骨干网络的 SegFormer 模型。 |
| segformer_b1_cityscapes_1024 | 13.68M | 在 1024x1024 分辨率的 Cityscapes 数据集上微调的、带有 MiTB1 骨干网络的 SegFormer 模型。 |
| segformer_b2_ade20k_512 | 24.73M | 在 512x512 分辨率的 ADE20k 数据集上微调的、带有 MiTB2 骨干网络的 SegFormer 模型。 |
| segformer_b2_cityscapes_1024 | 24.73M | 在 1024x1024 分辨率的 Cityscapes 数据集上微调的、带有 MiTB2 骨干网络的 SegFormer 模型。 |
| segformer_b3_ade20k_512 | 44.60M | 在 512x512 分辨率的 ADE20k 数据集上微调的、带有 MiTB3 骨干网络的 SegFormer 模型。 |
| segformer_b3_cityscapes_1024 | 44.60M | 在 1024x1024 分辨率的 Cityscapes 数据集上微调的、带有 MiTB3 骨干网络的 SegFormer 模型。 |
| segformer_b4_ade20k_512 | 61.37M | 在 512x512 分辨率的 ADE20k 数据集上微调的、带有 MiTB4 骨干网络的 SegFormer 模型。 |
| segformer_b4_cityscapes_1024 | 61.37M | 在 1024x1024 分辨率的 Cityscapes 数据集上微调的、带有 MiTB4 骨干网络的 SegFormer 模型。 |
| segformer_b5_ade20k_640 | 81.97M | 在 640x640 分辨率的 ADE20k 数据集上微调的、带有 MiTB5 骨干网络的 SegFormer 模型。 |
| segformer_b5_cityscapes_1024 | 81.97M | 在 1024x1024 分辨率的 Cityscapes 数据集上微调的、带有 MiTB5 骨干网络的 SegFormer 模型。 |
backbone 属性keras_hub.models.SegFormerImageSegmenter.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。
preprocessor 属性keras_hub.models.SegFormerImageSegmenter.preprocessor
用于预处理输入的 keras_hub.models.Preprocessor 层。