Seq2SeqLM
类keras_hub.models.Seq2SeqLM()
序列到序列语言建模任务的基类。
Seq2SeqLM
任务封装了 keras_hub.models.Backbone
和 keras_hub.models.Preprocessor
,以创建一个可用于生成和生成性微调的模型,其中生成是在序列到序列设置中以附加输入序列为条件的。
Seq2SeqLM
任务提供了一个额外的高级 generate()
函数,可用于逐个标记地自回归采样输出序列。Seq2SeqLM
类的 compile()
方法包含一个额外的 sampler
参数,可用于传递 keras_hub.samplers.Sampler
以控制如何对预测分布进行采样。
调用 fit()
时,每个输入应包含一个输入序列和一个输出序列。模型将使用因果掩码逐个标记地预测输出序列,类似于 keras_hub.models.CausalLM
任务。与 CausalLM
任务不同,必须传递输入序列,并且输出序列中的所有标记都可以完全关注该输入序列。
所有 Seq2SeqLM
任务都包含一个 from_preset()
构造函数,可用于加载预训练配置和权重。
示例
# Load a Bart backbone with pre-trained weights.
seq_2_seq_lm = keras_hub.models.Seq2SeqLM.from_preset(
"bart_base_en",
)
seq_2_seq_lm.compile(sampler="top_k")
# Generate conditioned on the `"The quick brown fox."` as an input sequence.
seq_2_seq_lm.generate("The quick brown fox.", max_length=30)
from_preset
方法Seq2SeqLM.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化 keras_hub.models.Task
。
预设是用于保存和加载预训练模型的配置、权重和其他文件资产的目录。preset
可以以下列形式之一传递:
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
对于任何 Task
子类,您可以运行 cls.presets.keys()
以列出该类上所有可用的内置预设。
该构造函数可以通过以下两种方式之一调用:要么从任务特定的基类调用,例如 keras_hub.models.CausalLM.from_preset()
,要么从模型类调用,例如 keras_hub.models.BertTextClassifier.from_preset()
。如果从基类调用,返回对象的子类将根据预设目录中的配置进行推断。
参数
True
,则会将保存的权重加载到模型架构中。如果为 False
,则所有权重都将随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
预设 | 参数 | 描述 |
---|---|---|
bart_base_en | 139.42M | 保持大小写的 6 层 BART 模型。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。 |
bart_large_en | 406.29M | 保持大小写的 12 层 BART 模型。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。 |
bart_large_en_cnn | 406.29M | 在 CNN+DM 摘要数据集上微调的 bart_large_en 主干模型。 |
compile
方法Seq2SeqLM.compile(
optimizer="auto", loss="auto", weighted_metrics="auto", sampler="top_k", **kwargs
)
配置 CausalLM
任务用于训练和生成。
CausalLM
任务扩展了 keras.Model.compile
的默认编译签名,并为 optimizer
、loss
和 weighted_metrics
提供了默认值。要覆盖这些默认值,请在编译期间将任何值传递给这些参数。
CausalLM
任务为 compile
添加了一个新的 sampler
参数,可用于控制与 generate
函数一起使用的采样策略。
请注意,由于训练输入包含填充标记,这些标记被排除在损失计算之外,因此使用 weighted_metrics
而不是 metrics
进行编译几乎总是明智的。
参数
"auto"
、优化器名称或 keras.Optimizer
实例。默认为 "auto"
,它使用给定模型和任务的默认优化器。有关可能的 optimizer
值的更多信息,请参阅 keras.Model.compile
和 keras.optimizers
。"auto"
、损失名称或 keras.losses.Loss
实例。默认为 "auto"
,其中 keras.losses.SparseCategoricalCrossentropy
损失将应用于标记分类的 CausalLM
任务。有关可能的 loss
值的更多信息,请参阅 keras.Model.compile
和 keras.losses
。"auto"
,或在训练和测试期间由模型评估的评估指标列表。默认为 "auto"
,其中将应用 keras.metrics.SparseCategoricalAccuracy
以跟踪模型在猜测被掩码标记值时的准确性。有关可能的 weighted_metrics
值的更多信息,请参阅 keras.Model.compile
和 keras.metrics
。keras_hub.samplers.Sampler
实例。配置在调用 generate()
时使用的采样方法。有关内置采样策略的完整列表,请参阅 keras_hub.samplers
。keras.Model.compile
。generate
方法Seq2SeqLM.generate(
inputs, max_length=None, stop_token_ids="auto", strip_prompt=False
)
根据提示 inputs
生成文本。
此方法根据给定的 inputs
生成文本。用于生成的采样方法可以通过 compile()
方法设置。
如果 inputs
是 tf.data.Dataset
,则输出将“按批次”生成并连接。否则,所有输入都将作为一个批次处理。
如果模型附加了 preprocessor
,则 inputs
将在 generate()
函数内部进行预处理,并且应与 preprocessor
层期望的结构(通常是原始字符串)匹配。如果未附加 preprocessor
,则输入应与 backbone
期望的结构匹配。请参阅上面的示例用法以了解每种情况的演示。
参数
tf.data.Dataset
。如果模型附加了 preprocessor
,则 inputs
应与 preprocessor
层期望的结构匹配。如果未附加 preprocessor
,则 inputs
应与 backbone
模型期望的结构匹配。preprocessor
配置的最大 sequence_length
。如果 preprocessor
为 None
,则 inputs
应填充到所需的最小长度,并且此参数将被忽略。None
、"auto" 或标记 ID 元组。默认为 "auto",它使用 preprocessor.tokenizer.end_token_id
。未指定处理器将产生错误。None
在生成 max_length
个标记后停止生成。您还可以指定模型应停止的标记 ID 列表。请注意,标记序列中的每个标记都将被解释为停止标记,不支持多标记停止序列。save_to_preset
方法Seq2SeqLM.save_to_preset(preset_dir)
将任务保存到预设目录。
参数
preprocessor
属性keras_hub.models.Seq2SeqLM.preprocessor
用于预处理输入的 keras_hub.models.Preprocessor
层。
backbone
属性keras_hub.models.Seq2SeqLM.backbone
具有核心架构的 keras_hub.models.Backbone
模型。