KerasHub:预训练模型 / API 文档 / 模型架构 / D-FINE / DFineObjectDetectorPreprocessor 层

DFineObjectDetectorPreprocessor 层

[源代码]

DFineObjectDetectorPreprocessor

keras_hub.models.DFineObjectDetectorPreprocessor(image_converter=None, **kwargs)

目标检测预处理层的基类。

ObjectDetectorPreprocessor 任务包装一个 keras_hub.layers.Preprocessor 来创建一个用于目标检测任务的预处理层。它旨在与 keras_hub.models.ImageObjectDetector 任务配对使用。

所有 ObjectDetectorPreprocessor 都接受三个输入:xysample_weightx 是第一个输入,应始终包含。它可以是图像或图像批次。请参阅下面的示例。ysample_weight 是可选输入,将原样传递。通常,y 是一个字典,格式为 `{"boxes": Tensor(batch_size, num_boxes, 4), "classes": (batch_size, num_boxes)}`。

该层将返回 x,如果提供了标签,则返回 (x, y) 元组,如果提供了标签和样本权重,则返回 (x, y, sample_weight) 元组。x 将是应用所有模型预处理后的输入图像。

所有 ObjectDetectorPreprocessor 任务都包含一个 from_preset() 构造函数,可用于加载预训练的配置和词汇表。您可以直接在此基类上调用 from_preset() 构造函数,在这种情况下,将自动实例化适合您模型的正确类。

参数

  • image_converter:图像的预处理管道。

示例。

preprocessor = keras_hub.models.ObjectDetectorPreprocessor.from_preset(
    "retinanet_resnet50",
)


----

<span style="float:right;">[[source]](https://github.com/keras-team/keras-hub/tree/v0.23.0/keras_hub/src/models/preprocessor.py#L132)</span>

### `from_preset` method


```python
DFineObjectDetectorPreprocessor.from_preset(
    preset, config_file="preprocessor.json", **kwargs
)

从模型预设实例化一个 keras_hub.models.Preprocessor

预设是一个包含配置、权重和其他文件资产的目录,用于保存和加载预训练模型。preset 可以作为以下之一传递:

  1. 一个内置的预设标识符,如 'bert_base_en'
  2. 一个 Kaggle Models 句柄,如 'kaggle://user/bert/keras/bert_base_en'
  3. 一个 Hugging Face 句柄,如 'hf://user/bert_base_en'
  4. 一个本地预设目录的路径,如 './bert_base_en'

对于任何 Preprocessor 子类,您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。

由于一个给定模型通常有多个预处理类,因此应在特定的子类上调用此方法,例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()

参数

  • preset:字符串。一个内置预设标识符、一个 Kaggle Models 句柄、一个 Hugging Face 句柄或一个本地目录的路径。

示例

# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.CausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.TextClassifierPreprocessor.from_preset(
    "bert_base_en",
)
预设 参数 描述
dfine_nano_coco 3.79M D-FINE Nano 模型,该系列中最小的变体,在 COCO 数据集上进行了预训练。非常适合计算资源有限的应用。
dfine_small_coco 10.33M D-FINE Small 模型在 COCO 数据集上进行了预训练。在性能和计算效率之间取得了平衡。
dfine_small_obj2coco 10.33M D-FINE Small 模型首先在 Objects365 上预训练,然后又在 COCO 上进行了微调,结合了广泛的特征学习和基准特定适应。
dfine_small_obj365 10.62M D-FINE Small 模型在大规模 Objects365 数据集上进行了预训练,增强了其识别各种对象的能力。
dfine_medium_coco 19.62M D-FINE Medium 模型在 COCO 数据集上进行了预训练。是通用目标检测的扎实基线,性能强大。
dfine_medium_obj2coco 19.62M D-FINE Medium 模型采用两阶段训练过程:在 Objects365 上预训练,然后进行 COCO 微调。
dfine_medium_obj365 19.99M D-FINE Medium 模型在 Objects365 数据集上进行了预训练。受益于更大、更多样化的预训练语料库。
dfine_large_coco 31.34M D-FINE Large 模型在 COCO 数据集上进行了预训练。提供高精度,适用于更具挑战性的任务。
dfine_large_obj2coco_e25 31.34M D-FINE Large 模型在 Objects365 上预训练,然后在 COCO 上微调 25 个 epoch。一个高性能模型,具有专门的调优。
dfine_large_obj365 31.86M D-FINE Large 模型在 Objects365 数据集上进行了预训练,以提高泛化能力和在各种对象类别上的性能。
dfine_xlarge_coco 62.83M D-FINE X-Large 模型,COCO 预训练系列中最大的变体,旨在在精度是首要任务的情况下实现最先进的性能。
dfine_xlarge_obj2coco 62.83M D-FINE X-Large 模型,在 Objects365 上预训练,在 COCO 上微调,代表了该系列中在 COCO 类型任务上最强大的模型。
dfine_xlarge_obj365 63.35M D-FINE X-Large 模型在 Objects365 数据集上进行了预训练,通过利用预训练过程中的大量对象类别来提供最大性能。

image_converter 属性

keras_hub.models.DFineObjectDetectorPreprocessor.image_converter

用于预处理图像数据的图像转换器。