Seq2SeqLM 类keras_hub.models.Seq2SeqLM()
序列到序列语言建模任务的基类。
Seq2SeqLM 任务封装了 keras_hub.models.Backbone 和 keras_hub.models.Preprocessor，以创建可在序列到序列设置中，当生成以附加输入序列为条件时，用于生成和生成式微调的模型。
Seq2SeqLM 任务提供了一个额外的高级 generate() 函数，可用于逐词自回归采样输出序列。Seq2SeqLM 类的 compile() 方法包含一个附加的 sampler 参数，可用于传递 keras_hub.samplers.Sampler 以控制如何对预测分布进行采样。
调用 fit() 时，每个输入应包含一个输入序列和一个输出序列。模型将使用因果掩码逐词预测输出序列，类似于 keras_hub.models.CausalLM 任务。与 CausalLM 任务不同，必须传递输入序列，并且输出序列中的所有词元都可以完全关注该输入序列。
所有 Seq2SeqLM 任务都包含一个 from_preset() 构造函数，可用于加载预训练配置和权重。
示例
# Load a Bart backbone with pre-trained weights.
seq_2_seq_lm = keras_hub.models.Seq2SeqLM.from_preset(
"bart_base_en",
)
seq_2_seq_lm.compile(sampler="top_k")
# Generate conditioned on the `"The quick brown fox."` as an input sequence.
seq_2_seq_lm.generate("The quick brown fox.", max_length=30)
from_preset 方法Seq2SeqLM.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：
'bert_base_en''kaggle://user/bert/keras/bert_base_en''hf://user/bert_base_en''./bert_base_en'对于任何 Task 子类，您都可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过两种方式调用。可以从特定于任务的基类（如 keras_hub.models.CausalLM.from_preset()）调用，也可以从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。如果从基类调用，则返回对象的子类将根据预设目录中的配置推断。
参数
True，已保存的权重将被加载到模型架构中。如果为 False，所有权重将被随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| bart_base_en | 139.42M | 6 层 BART 模型，大小写保持不变。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。 |
| bart_large_en | 406.29M | 12 层 BART 模型，大小写保持不变。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。 |
| bart_large_en_cnn | 406.29M | 在 CNN+DM 摘要数据集上微调的 bart_large_en 骨干模型。 |
| moonshine_tiny_en | 27.09M | 用于英语语音识别的 Moonshine tiny 模型。由 Useful Sensors 开发，用于实时转录。 |
| moonshine_base_en | 61.51M | 用于英语语音识别的 Moonshine base 模型。由 Useful Sensors 开发，用于实时转录。 |
compile 方法Seq2SeqLM.compile(
optimizer="auto", loss="auto", weighted_metrics="auto", sampler="top_k", **kwargs
)
配置 CausalLM 任务以进行训练和生成。
CausalLM 任务通过 optimizer、loss 和 weighted_metrics 的默认值扩展了 keras.Model.compile 的默认编译签名。要覆盖这些默认值，请在编译期间将任何值传递给这些参数。
CausalLM 任务在 compile 中添加了一个新的 sampler，可用于控制 generate 函数使用的采样策略。
请注意，由于训练输入包含从损失中排除的填充标记，因此使用 weighted_metrics 而不是 metrics 进行编译几乎总是一个好主意。
参数
keras.Optimizer 实例。默认为“auto”，它使用给定模型和任务的默认优化器。有关可能的 optimizer 值的更多信息，请参阅 keras.Model.compile 和 keras.optimizers。keras.losses.Loss 实例。默认为“auto”，其中 keras.losses.SparseCategoricalCrossentropy 损失将应用于词元分类 CausalLM 任务。有关可能的 loss 值的更多信息，请参阅 keras.Model.compile 和 keras.losses。keras.metrics.SparseCategoricalAccuracy 将应用于跟踪模型猜测掩码词元值的准确性。有关可能的 weighted_metrics 值的更多信息，请参阅 keras.Model.compile 和 keras.metrics。keras_hub.samplers.Sampler 实例。配置 generate() 调用期间使用的采样方法。有关内置采样策略的完整列表，请参阅 keras_hub.samplers。keras.Model.compile。generate 方法Seq2SeqLM.generate(
inputs, max_length=None, stop_token_ids="auto", strip_prompt=False
)
根据提示 inputs 生成文本。
此方法根据给定的 inputs 生成文本。用于生成的采样方法可以通过 compile() 方法设置。
如果 inputs 是一个 tf.data.Dataset，输出将“逐批”生成并连接起来。否则，所有输入将被视为单个批次处理。
如果模型附加了 preprocessor，则 inputs 将在 generate() 函数内部进行预处理，并且应与 preprocessor 层预期的数据结构匹配（通常是原始字符串）。如果未附加 preprocessor，则输入应与 backbone 预期的数据结构匹配。有关每个示例用法，请参阅上面的示例。
参数
tf.data.Dataset。如果模型附加了 preprocessor，则 inputs 应与 preprocessor 层预期的数据结构匹配。如果未附加 preprocessor，则 inputs 应与 backbone 模型预期的数据结构匹配。preprocessor 配置的最大 sequence_length。如果 preprocessor 为 None，则 inputs 应填充到所需的最小长度，此参数将被忽略。None、"auto" 或词元 ID 元组。默认为 "auto"，它使用 preprocessor.tokenizer.end_token_id。未指定处理器将产生错误。None 在生成 max_length 个词元后停止生成。您还可以指定模型应停止的词元 ID 列表。请注意，词元序列中的每个词元都将被解释为停止词元，不支持多词元停止序列。save_to_preset 方法Seq2SeqLM.save_to_preset(preset_dir, max_shard_size=10)
将任务保存到预设目录。
参数
int 或 float。每个分片文件的最大大小（以 GB 为单位）。如果为 None，则不进行分片。默认为 10。preprocessor 属性keras_hub.models.Seq2SeqLM.preprocessor
用于预处理输入的 keras_hub.models.Preprocessor 层。
backbone 属性keras_hub.models.Seq2SeqLM.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。