SAMBackbone 模型
SAMBackbone 类
keras_hub.models.SAMBackbone(
image_encoder, prompt_encoder, mask_decoder, dtype=None, **kwargs
)
Segment Anything 模型 (SAM) 的骨干网络。
参数
- image_encoder:
keras_hub.models.ViTDetBackbone。 用于输入图像的特征提取器。 - prompt_encoder:
keras_hub.layers.SAMPromptEncoder。 用于计算点、框和掩码提示的嵌入的 Keras 层。 - mask_decoder:
keras_hub.layers.SAMMaskDecoder。 一个 Keras 层，用于根据骨干网络和提示编码器生成的嵌入来生成分割掩码。 - dtype: 层权重的 dtype。
示例
image_size=128
batch_size=2
input_data = {
"images": np.ones(
(batch_size, image_size, image_size, 3),
dtype="float32",
),
"points": np.ones((batch_size, 1, 2), dtype="float32"),
"labels": np.ones((batch_size, 1), dtype="float32"),
"boxes": np.ones((batch_size, 1, 2, 2), dtype="float32"),
"masks": np.zeros(
(batch_size, 0, image_size, image_size, 1)
),
}
image_encoder = keras_hub.models.ViTDetBackbone(
hidden_size=16,
num_layers=16,
intermediate_dim=16 * 4,
num_heads=16,
global_attention_layer_indices=[2, 5, 8, 11],
patch_size=16,
num_output_channels=8,
window_size=2,
image_shape=(image_size, image_size, 3),
)
prompt_encoder = keras_hub.layers.SAMPromptEncoder(
hidden_size=8,
image_embedding_size=(8, 8),
input_image_size=(
image_size,
image_size,
),
mask_in_channels=16,
)
mask_decoder = keras_hub.layers.SAMMaskDecoder(
num_layers=2,
hidden_size=8,
intermediate_dim=32,
num_heads=8,
embedding_dim=8,
num_multimask_outputs=3,
iou_head_depth=3,
iou_head_hidden_dim=8,
)
backbone = keras_hub.models.SAMBackbone(
image_encoder=image_encoder,
prompt_encoder=prompt_encoder,
mask_decoder=mask_decoder,
)
backbone(input_data)
from_preset 方法
SAMBackbone.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Backbone。
预设是一个配置、权重和其他文件资产的目录，用于保存和加载预训练模型。 preset 可以作为以下之一传递
- 内置预设标识符，例如
'bert_base_en' - Kaggle Models 句柄，例如
'kaggle://user/bert/keras/bert_base_en' - Hugging Face 句柄，例如
'hf://user/bert_base_en' - 本地预设目录的路径，例如
'./bert_base_en'
此构造函数可以通过两种方式之一调用。 可以从基类调用，例如 keras_hub.models.Backbone.from_preset()，或者从模型类调用，例如 keras_hub.models.GemmaBackbone.from_preset()。 如果从基类调用，则返回对象的子类将从预设目录中的配置中推断出来。
对于任何 Backbone 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
参数
- preset: 字符串。 内置预设标识符、Kaggle Models 句柄、Hugging Face 句柄或本地目录的路径。
- load_weights: 布尔值。 如果为
True，则权重将加载到模型架构中。 如果为False，则权重将被随机初始化。
示例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| sam_base_sa1b | 93.74M | 在 SA1B 数据集上训练的基础 SAM 模型。 |
| sam_huge_sa1b | 312.34M | 在 SA1B 数据集上训练的巨型 SAM 模型。 |
| sam_large_sa1b | 641.09M | 在 SA1B 数据集上训练的大型 SAM 模型。 |