SAMBackbone 模型

[源代码]

SAMBackbone

keras_hub.models.SAMBackbone(
    image_encoder, prompt_encoder, mask_decoder, dtype=None, **kwargs
)

Segment Anything Model (SAM) 的一个骨干网络。

参数

示例

image_size=128
batch_size=2
input_data = {
    "images": np.ones(
        (batch_size, image_size, image_size, 3),
        dtype="float32",
    ),
    "points": np.ones((batch_size, 1, 2), dtype="float32"),
    "labels": np.ones((batch_size, 1), dtype="float32"),
    "boxes": np.ones((batch_size, 1, 2, 2), dtype="float32"),
    "masks": np.zeros(
        (batch_size, 0, image_size, image_size, 1)
    ),
}
image_encoder = keras_hub.models.ViTDetBackbone(
    hidden_size=16,
    num_layers=16,
    intermediate_dim=16 * 4,
    num_heads=16,
    global_attention_layer_indices=[2, 5, 8, 11],
    patch_size=16,
    num_output_channels=8,
    window_size=2,
    image_shape=(image_size, image_size, 3),
)
prompt_encoder = keras_hub.layers.SAMPromptEncoder(
    hidden_size=8,
    image_embedding_size=(8, 8),
    input_image_size=(
        image_size,
        image_size,
    ),
    mask_in_channels=16,
)
mask_decoder = keras_hub.layers.SAMMaskDecoder(
    num_layers=2,
    hidden_size=8,
    intermediate_dim=32,
    num_heads=8,
    embedding_dim=8,
    num_multimask_outputs=3,
    iou_head_depth=3,
    iou_head_hidden_dim=8,
)
backbone = keras_hub.models.SAMBackbone(
    image_encoder=image_encoder,
    prompt_encoder=prompt_encoder,
    mask_decoder=mask_decoder,
)
backbone(input_data)

[源代码]

from_preset 方法

SAMBackbone.from_preset(preset, load_weights=True, **kwargs)

从模型预设实例化一个 keras_hub.models.Backbone

预设是一个包含配置、权重和其他文件资产的目录,用于保存和加载预训练模型。`preset` 可以作为以下几种方式之一传递:

  1. 内置预设标识符,例如 `'bert_base_en'`
  2. Kaggle Models 句柄,例如 `'kaggle://user/bert/keras/bert_base_en'`
  3. Hugging Face 句柄,例如 `'hf://user/bert_base_en'`
  4. 本地预设目录的路径,例如 `'./bert_base_en'`

此构造函数可以通过以下两种方式之一调用:从基类调用,例如 `keras_hub.models.Backbone.from_preset()`;或从模型类调用,例如 `keras_hub.models.GemmaBackbone.from_preset()`。如果从基类调用,返回对象的子类将从预设目录中的配置推断。

对于任何 `Backbone` 子类,您可以运行 `cls.presets.keys()` 来列出该类上所有可用的内置预设。

参数

  • preset: 字符串。内置预设标识符、Kaggle Models 句柄、Hugging Face 句柄或本地目录的路径。
  • load_weights: 布尔值。如果为 `True`,权重将被加载到模型架构中。如果为 `False`,权重将被随机初始化。

示例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)
预设 参数 描述
sam_base_sa1b 93.74M 在 SA1B 数据集上训练的基础 SAM 模型。
sam_huge_sa1b 312.34M 在 SA1B 数据集上训练的巨大 SAM 模型。
sam_large_sa1b 641.09M 在 SA1B 数据集上训练的大型 SAM 模型。