KerasHub: 预训练模型 / API 文档 / 模型架构 / T5 / T5Preprocessor 层

T5Preprocessor 层

[源代码]

T5Preprocessor

keras_hub.models.T5Preprocessor(
    tokenizer, sequence_length=256, add_start_token=False, add_end_token=True, **kwargs
)

预处理层的基类。

Preprocessor 层为给定任务提供完整的预处理设置。它处理分词、音频/图像转换以及任何其他必要的预处理步骤。

此类的子类化方式与任何 keras.layers.Layer 类似,通过定义 build()call()get_config() 方法。所有子类都应在构造过程中根据需要设置 tokenizeraudio_converterimage_converter 属性。


[源代码]

from_preset 方法

T5Preprocessor.from_preset(preset, config_file="preprocessor.json", **kwargs)

从模型预设实例化一个 keras_hub.models.Preprocessor

预设是一个包含配置、权重和其他文件资产的目录,用于保存和加载预训练模型。preset 可以作为以下之一传递:

  1. 一个内置的预设标识符,如 'bert_base_en'
  2. 一个 Kaggle Models 句柄,如 'kaggle://user/bert/keras/bert_base_en'
  3. 一个 Hugging Face 句柄,如 'hf://user/bert_base_en'
  4. 一个本地预设目录的路径,如 './bert_base_en'

对于任何 Preprocessor 子类,您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。

由于一个给定模型通常有多个预处理类,因此应在特定的子类上调用此方法,例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()

参数

  • preset:字符串。一个内置预设标识符、一个 Kaggle Models 句柄、一个 Hugging Face 句柄或一个本地目录的路径。

示例

# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.CausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.TextClassifierPreprocessor.from_preset(
    "bert_base_en",
)

tokenizer 属性

keras_hub.models.T5Preprocessor.tokenizer

用于对字符串进行分词的分词器。