ViTDetBackbone
类keras_hub.models.ViTDetBackbone(
hidden_size,
num_layers,
intermediate_dim,
num_heads,
global_attention_layer_indices,
image_shape=(None, None, 3),
patch_size=16,
num_output_channels=256,
use_bias=True,
use_abs_pos=True,
use_rel_pos=True,
window_size=14,
layer_norm_epsilon=1e-06,
**kwargs
)
ViT 图像编码器的实现。
ViTDetBackbone 使用窗口式 Transformer 编码器和相对位置编码。代码改编自 Segment Anything 论文、Segment Anything GitHub 和 Detectron2。
参数
MultiHeadAttentionWithRelativePE
层使用的头数。(H, W, C)
。默认为 (None, None, 3)
。16
。256
。True
。True
。True
。14
。1e-6
。示例
input_data = np.ones((2, 224, 224, 3), dtype="float32")
# Pretrained ViTDetBackbone backbone.
model = keras_hub.models.ViTDetBackbone.from_preset("vit_det")
model(input_data)
# Randomly initialized ViTDetBackbone backbone with a custom config.
model = keras_hub.models.ViTDetBackbone(
image_shape = (16, 16, 3),
patch_size = 2,
hidden_size = 4,
num_layers = 2,
global_attention_layer_indices = [2, 5, 8, 11],
intermediate_dim = 4 * 4,
num_heads = 2,
num_output_channels = 2,
window_size = 2,
)
model(input_data)
from_preset
方法ViTDetBackbone.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Backbone
实例。
预设是包含用于保存和加载预训练模型的配置、权重和其他文件资源的目录。preset
可以是以下之一:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
此构造函数有两种调用方式。可以从基类调用,如 keras_hub.models.Backbone.from_preset()
,也可以从模型类调用,如 keras_hub.models.GemmaBackbone.from_preset()
。如果从基类调用,返回对象的子类将从预设目录中的配置推断出来。
对于任何 Backbone
子类,您可以运行 cls.presets.keys()
列出该类上所有可用的内置预设。
参数
True
,则将权重加载到模型架构中。如果为 False
,则将随机初始化权重。示例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)