预处理器

[来源]

Preprocessor 类

keras_nlp.models.Preprocessor()

预处理层的基类。

一个 Preprocessor 层封装了一个 keras_nlp.tokenizer.Tokenizer，为给定任务提供完整的预处理设置。例如，一个掩码语言模型预处理器将接受原始输入字符串，并输出 (x, y, sample_weight) 元组。其中 x 包含一些带有标记 ID 序列的

此类可以像任何 keras.layers.Layer 一样进行子类化，方法是定义 build()、call() 和 get_config() 方法。所有子类都应在构造时设置 tokenizer 属性。

[来源]

from_preset 方法

Preprocessor.from_preset(preset, **kwargs)

从模型预设中实例化一个 keras_nlp.models.Preprocessor。

预设是用于保存和加载预训练模型的配置文件、权重和其他文件资产的目录。preset 可以作为以下之一传递：

1. 内置预设标识符，例如 'bert_base_en'
2. Kaggle 模型句柄，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
4. 本地预设目录的路径，例如 './bert_base_en'

对于任何 Preprocessor 子类，您都可以运行 cls.presets.keys() 来列出该类上可用的所有内置预设。

由于通常会有多个预处理类用于给定模型，因此此方法应在特定子类上调用，例如 keras_nlp.models.BertTextClassifierPreprocessor.from_preset()。

参数

• preset: 字符串。内置预设标识符、Kaggle 模型句柄、Hugging Face 句柄或本地目录的路径。

示例

# Load a preprocessor for Gemma generation.
preprocessor = keras_nlp.models.GemmaCausalLMPreprocessor.from_preset(
    "gemma_2b_en",
)

# Load a preprocessor for Bert classification.
preprocessor = keras_nlp.models.BertTextClassifierPreprocessor.from_preset(
    "bert_base_en",
)

[来源]

save_to_preset 方法

Preprocessor.save_to_preset(preset_dir)

将预处理器保存到预设目录。

参数

• preset_dir: 本地模型预设目录的路径。

tokenizer 属性

keras_nlp.models.Preprocessor.tokenizer

用于对字符串进行分词的分词器。