DepthAnythingDepthEstimator 类keras_hub.models.DepthAnythingDepthEstimator(
backbone,
depth_estimation_type,
min_depth=1e-07,
max_depth=None,
preprocessor=None,
**kwargs
)
所有深度估计任务的基类。
DepthEstimator 任务封装了一个 keras_hub.models.Backbone 和一个 keras_hub.models.Preprocessor，以创建一个可用于深度估计的模型。
要使用 fit() 进行微调，请传入一个包含 (x, y) 标签元组的数据集，其中 x 是 RGB 图像，y 是深度图。所有 DepthEstimator 任务都包含一个 from_preset() 构造函数，可用于加载预训练的配置和权重。
参数
keras_hub.models.Backbone 实例或一个 keras.Model。None、一个 keras_hub.models.Preprocessor 实例、一个 keras.Layer 实例或一个可调用对象。如果为 None，则不对输入应用任何预处理。"relative" 或 "metric"。要使用的深度图类型。"relative" 深度图是按比例的，而 "metric" 深度图具有度量意义（例如，以米为单位）。默认为 "relative"。keras.config.epsilon()。depth_estimation_type="metric" 时，模型的输出将被缩放到 [0, max_depth] 范围。示例
调用 predict() 运行推理。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
depth_estimator = keras_hub.models.DepthEstimator.from_preset(
"depth_anything_v2_small"
)
depth_estimator.predict(images)
在单个批次上调用 fit()。
# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
depths = np.random.uniform(0, 10, size=(2, 224, 224))
depth_estimator = keras_hub.models.DepthEstimator.from_preset(
"depth_anything_v2_small",
depth_estimation_type="metric",
max_depth=10.0,
)
depth_estimator.fit(x=images, y=depths, batch_size=2)
使用自定义损失、优化器和主干网络调用 fit()。
depth_estimator = keras_hub.models.DepthEstimator.from_preset(
"depth_anything_v2_small",
depth_estimation_type="metric",
max_depth=10.0,
)
depth_estimator.compile(
loss=keras.losses.MeanSquaredError(),
optimizer=keras.optimizers.Adam(5e-5),
)
depth_estimator.backbone.trainable = False
depth_estimator.fit(x=images, y=depths, batch_size=2)
自定义主干网络。
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
depths = np.random.uniform(0, 10, size=(2, 224, 224))
image_encoder = keras_hub.models.DINOV2Backbone.from_preset("dinov2_small")
backbone = keras_hub.models.DepthAnythingBackbone(
image_encoder=image_encoder,
patch_size=image_encoder.patch_size,
backbone_hidden_dim=image_encoder.hidden_dim,
reassemble_factors=[4, 2, 1, 0.5],
neck_hidden_dims=[48, 96, 192, 384],
fusion_hidden_dim=64,
head_hidden_dim=32,
head_in_index=-1,
)
depth_estimator = keras_hub.models.DepthEstimator(
backbone=backbone,
depth_estimation_type="metric",
max_depth=10.0,
)
depth_estimator.fit(x=images, y=depths, batch_size=2)
from_preset 方法DepthAnythingDepthEstimator.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您都可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过两种方式调用。一种方式是从特定任务的基类（如 keras_hub.models.CausalLM.from_preset()）调用，另一种方式是从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，返回对象的子类将从预设目录中的配置推断出来。
参数
True，已保存的权重将被加载到模型架构中。如果为 False，所有权重将被随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| depth_anything_v2_small | 25.31M | Depth Anything V2 单目深度估计 (MDE) 模型的小型变体，在合成标记图像和真实未标记图像上进行了训练。 |
| depth_anything_v2_base | 98.52M | Depth Anything V2 单目深度估计 (MDE) 模型的基础变体，在合成标记图像和真实未标记图像上进行了训练。 |
| depth_anything_v2_large | 336.72M | Depth Anything V2 单目深度估计 (MDE) 模型的大型变体，在合成标记图像和真实未标记图像上进行了训练。 |
backbone 属性keras_hub.models.DepthAnythingDepthEstimator.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。