T5Preprocessor
类keras_hub.models.T5Preprocessor(
tokenizer, sequence_length=256, add_start_token=False, add_end_token=True, **kwargs
)
预处理层的基类。
Preprocessor
层为给定任务提供完整的预处理设置。它处理分词、音频/图像转换以及任何其他必需的预处理步骤。
此类可以像任何 keras.layers.Layer
一样被子类化,通过定义 build()
、call()
和 get_config()
方法。所有子类应根据需要在构造时设置 tokenizer
、audio_converter
或 image_converter
属性。
from_preset
方法T5Preprocessor.from_preset(preset, config_file="preprocessor.json", **kwargs)
从模型预设实例化一个 keras_hub.models.Preprocessor
。
预设是用于保存和加载预训练模型的配置、权重和其他文件资产的目录。preset
可以作为以下之一传递:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
对于任何 Preprocessor
子类,您可以运行 cls.presets.keys()
来列出该类上所有可用的内置预设。
由于给定模型通常有多个预处理类,此方法应在特定子类上调用,例如 keras_hub.models.BertTextClassifierPreprocessor.from_preset()
。
参数
示例
# Load a preprocessor for Gemma generation.
preprocessor = keras_hub.models.CausalLMPreprocessor.from_preset(
"gemma_2b_en",
)
# Load a preprocessor for Bert classification.
preprocessor = keras_hub.models.TextClassifierPreprocessor.from_preset(
"bert_base_en",
)
tokenizer
属性keras_hub.models.T5Preprocessor.tokenizer
用于对字符串进行分词的分词器。