CausalLM
类keras_hub.models.CausalLM()
用于生成式语言建模任务的基类。
CausalLM
任务封装了一个 keras_hub.models.Backbone
和一个 keras_hub.models.Preprocessor
,以创建一个可用于生成和生成式微调的模型。
CausalLM
任务提供了一个额外的、高级的 generate()
函数,该函数可用于以字符串输入、字符串输出的方式自回归地逐 token 采样模型。所有 CausalLM
类的 compile()
方法都包含一个额外的 sampler
参数,该参数可用于传递一个 keras_hub.samplers.Sampler
来控制如何对预测分布进行采样。
当调用 fit()
时,token 化的输入将逐 token 预测,并应用因果掩码,这为控制推理时生成提供了预训练和监督式微调设置。
所有 CausalLM
任务都包含一个 from_preset()
构造函数,该函数可用于加载预训练的配置和权重。
示例
# Load a GPT2 backbone with pre-trained weights.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gpt2_base_en",
)
causal_lm.compile(sampler="top_k")
causal_lm.generate("Keras is a", max_length=64)
# Load a Mistral instruction tuned checkpoint at bfloat16 precision.
causal_lm = keras_hub.models.CausalLM.from_preset(
"mistral_instruct_7b_en",
dtype="bfloat16",
)
causal_lm.compile(sampler="greedy")
causal_lm.generate("Keras is a", max_length=64)
from_preset
方法CausalLM.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task
。
预设是一个配置、权重和其他文件资产的目录,用于保存和加载预训练模型。preset
可以作为以下内容之一传递
'bert_base_en'
'kaggle://user/bert/keras/bert_base_en'
'hf://user/bert_base_en'
'./bert_base_en'
对于任何 Task
子类,您可以运行 cls.presets.keys()
以列出该类上所有可用的内置预设。
此构造函数可以通过两种方式之一调用。可以从特定于任务的基类调用,例如 keras_hub.models.CausalLM.from_preset()
,也可以从模型类调用,例如 keras_hub.models.BertTextClassifier.from_preset()
。如果从基类调用,则返回对象的子类将从预设目录中的配置推断出来。
参数
True
,则保存的权重将加载到模型架构中。如果为 False
,则所有权重将随机初始化。示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
预设 | 参数 | 描述 |
---|---|---|
bart_base_en | 139.42M | 6 层 BART 模型,其中保留了大小写。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。 |
bart_large_en | 406.29M | 12 层 BART 模型,其中保留了大小写。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。 |
bart_large_en_cnn | 406.29M | 在 CNN+DM 摘要数据集上微调的 bart_large_en 主干模型。 |
bloom_560m_multi | 559.21M | 24 层 Bloom 模型,隐藏维度为 1024。在 45 种自然语言和 12 种编程语言上训练。 |
bloomz_560m_multi | 559.21M | 24 层 Bloom 模型,隐藏维度为 1024。在跨语言任务混合 (xP3) 数据集上微调。 |
bloom_1.1b_multi | 1.07B | 24 层 Bloom 模型,隐藏维度为 1536。在 45 种自然语言和 12 种编程语言上训练。 |
bloomz_1.1b_multi | 1.07B | 24 层 Bloom 模型,隐藏维度为 1536。在跨语言任务混合 (xP3) 数据集上微调。 |
bloom_1.7b_multi | 1.72B | 24 层 Bloom 模型,隐藏维度为 2048。在 45 种自然语言和 12 种编程语言上训练。 |
bloomz_1.7b_multi | 1.72B | 24 层 Bloom 模型,隐藏维度为 2048。在跨语言任务混合 (xP3) 数据集上微调。 |
bloom_3b_multi | 3.00B | 30 层 Bloom 模型,隐藏维度为 2560。在 45 种自然语言和 12 种编程语言上训练。 |
bloomz_3b_multi | 3.00B | 30 层 Bloom 模型,隐藏维度为 2560。在跨语言任务混合 (xP3) 数据集上微调。 |
falcon_refinedweb_1b_en | 1.31B | 24 层 Falcon 模型(具有 10 亿参数的 Falcon),在 3500 亿个 RefinedWeb 数据集 token 上训练。 |
gemma_2b_en | 2.51B | 20 亿参数、18 层、基础 Gemma 模型。 |
gemma_instruct_2b_en | 2.51B | 20 亿参数、18 层、指令调优 Gemma 模型。 |
gemma_1.1_instruct_2b_en | 2.51B | 20 亿参数、18 层、指令调优 Gemma 模型。1.1 更新提高了模型质量。 |
code_gemma_1.1_2b_en | 2.51B | 20 亿参数、18 层、CodeGemma 模型。此模型已在代码补全的中间填充 (FIM) 任务上训练。1.1 更新提高了模型质量。 |
code_gemma_2b_en | 2.51B | 20 亿参数、18 层、CodeGemma 模型。此模型已在代码补全的中间填充 (FIM) 任务上训练。 |
gemma2_2b_en | 2.61B | 20 亿参数、26 层、基础 Gemma 模型。 |
gemma2_instruct_2b_en | 2.61B | 20 亿参数、26 层、指令调优 Gemma 模型。 |
shieldgemma_2b_en | 2.61B | 20 亿参数、26 层、ShieldGemma 模型。 |
gemma_7b_en | 8.54B | 70 亿参数、28 层、基础 Gemma 模型。 |
gemma_instruct_7b_en | 8.54B | 70 亿参数、28 层、指令调优 Gemma 模型。 |
gemma_1.1_instruct_7b_en | 8.54B | 70 亿参数、28 层、指令调优 Gemma 模型。1.1 更新提高了模型质量。 |
code_gemma_7b_en | 8.54B | 70 亿参数、28 层、CodeGemma 模型。此模型已在代码补全的中间填充 (FIM) 任务上训练。 |
code_gemma_instruct_7b_en | 8.54B | 70 亿参数、28 层、指令调优 CodeGemma 模型。此模型已针对与代码相关的聊天用例进行训练。 |
code_gemma_1.1_instruct_7b_en | 8.54B | 70 亿参数、28 层、指令调优 CodeGemma 模型。此模型已针对与代码相关的聊天用例进行训练。1.1 更新提高了模型质量。 |
gemma2_9b_en | 9.24B | 90 亿参数、42 层、基础 Gemma 模型。 |
gemma2_instruct_9b_en | 9.24B | 90 亿参数、42 层、指令调优 Gemma 模型。 |
shieldgemma_9b_en | 9.24B | 90 亿参数、42 层、ShieldGemma 模型。 |
gemma2_27b_en | 27.23B | 270 亿参数、42 层、基础 Gemma 模型。 |
gemma2_instruct_27b_en | 27.23B | 270 亿参数、42 层、指令调优 Gemma 模型。 |
shieldgemma_27b_en | 27.23B | 270 亿参数、42 层、ShieldGemma 模型。 |
gpt2_base_en | 124.44M | 12 层 GPT-2 模型,其中保留了大小写。在 WebText 上训练。 |
gpt2_base_en_cnn_dailymail | 124.44M | 12 层 GPT-2 模型,其中保留了大小写。在 CNN/DailyMail 摘要数据集上微调。 |
gpt2_medium_en | 354.82M | 24 层 GPT-2 模型,其中保留了大小写。在 WebText 上训练。 |
gpt2_large_en | 774.03M | 36 层 GPT-2 模型,其中保留了大小写。在 WebText 上训练。 |
gpt2_extra_large_en | 1.56B | 48 层 GPT-2 模型,其中保留了大小写。在 WebText 上训练。 |
llama2_7b_en | 6.74B | 70 亿参数、32 层、基础 LLaMA 2 模型。 |
llama2_instruct_7b_en | 6.74B | 70 亿参数、32 层、指令调优 LLaMA 2 模型。 |
vicuna_1.5_7b_en | 6.74B | 70 亿参数、32 层、指令调优 Vicuna v1.5 模型。 |
llama2_7b_en_int8 | 6.74B | 70 亿参数、32 层、基础 LLaMA 2 模型,激活和权重量化为 int8。 |
llama2_instruct_7b_en_int8 | 6.74B | 70 亿参数、32 层、指令调优 LLaMA 2 模型,激活和权重量化为 int8。 |
llama3_8b_en | 8.03B | 80 亿参数、32 层、基础 LLaMA 3 模型。 |
llama3_instruct_8b_en | 8.03B | 80 亿参数、32 层、指令调优 LLaMA 3 模型。 |
llama3_8b_en_int8 | 8.03B | 80 亿参数、32 层、基础 LLaMA 3 模型,激活和权重量化为 int8。 |
llama3_instruct_8b_en_int8 | 8.03B | 80 亿参数、32 层、指令调优 LLaMA 3 模型,激活和权重量化为 int8。 |
mistral_7b_en | 7.24B | Mistral 7B 基础模型 |
mistral_instruct_7b_en | 7.24B | Mistral 7B 指令模型 |
mistral_0.2_instruct_7b_en | 7.24B | Mistral 7B 指令模型版本 0.2 |
opt_125m_en | 125.24M | 12 层 OPT 模型,其中保留了大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。 |
opt_1.3b_en | 1.32B | 24 层 OPT 模型,其中保留了大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。 |
opt_2.7b_en | 2.70B | 32 层 OPT 模型,其中保留了大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。 |
opt_6.7b_en | 6.70B | 32 层 OPT 模型,其中保留了大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。 |
pali_gemma_3b_mix_224 | 2.92B | 图像大小 224,混合微调,文本序列长度为 256 |
pali_gemma_3b_224 | 2.92B | 图像大小 224,预训练,文本序列长度为 128 |
pali_gemma_3b_mix_448 | 2.92B | 图像大小 448,混合微调,文本序列长度为 512 |
pali_gemma_3b_448 | 2.92B | 图像大小 448,预训练,文本序列长度为 512 |
pali_gemma_3b_896 | 2.93B | 图像大小 896,预训练,文本序列长度为 512 |
pali_gemma2_mix_3b_224 | 3.03B | 30 亿参数,图像大小 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在各种视觉语言任务和领域上进行了微调。 |
pali_gemma2_pt_3b_224 | 3.03B | 30 亿参数,图像大小 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma_2_ft_docci_3b_448 | 3.03B | 30 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在 DOCCI 数据集上进行了微调,以改进具有精细细节的描述。 |
pali_gemma2_mix_3b_448 | 3.03B | 30 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在各种视觉语言任务和领域上进行了微调。 |
pali_gemma2_pt_3b_448 | 3.03B | 30 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_pt_3b_896 | 3.04B | 30 亿参数,图像大小 896,SigLIP-So400m 视觉编码器为 27 层,Gemma2 2B 语言模型为 26 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_mix_10b_224 | 9.66B | 100 亿参数,图像大小 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在各种视觉语言任务和领域上进行了微调。 |
pali_gemma2_pt_10b_224 | 9.66B | 100 亿参数,图像大小 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_ft_docci_10b_448 | 9.66B | 100 亿参数,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在 DOCCI 数据集上进行了微调,以改进具有精细细节的描述。 |
pali_gemma2_mix_10b_448 | 9.66B | 100 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在各种视觉语言任务和领域上进行了微调。 |
pali_gemma2_pt_10b_448 | 9.66B | 100 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_pt_10b_896 | 9.67B | 100 亿参数,图像大小 896,SigLIP-So400m 视觉编码器为 27 层,Gemma2 9B 语言模型为 42 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_mix_28b_224 | 27.65B | 280 亿参数,图像大小 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在各种视觉语言任务和领域上进行了微调。 |
pali_gemma2_mix_28b_448 | 27.65B | 280 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在各种视觉语言任务和领域上进行了微调。 |
pali_gemma2_pt_28b_224 | 27.65B | 280 亿参数,图像大小 224,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_pt_28b_448 | 27.65B | 280 亿参数,图像大小 448,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在数据集混合上进行了预训练。 |
pali_gemma2_pt_28b_896 | 27.65B | 280 亿参数,图像大小 896,SigLIP-So400m 视觉编码器为 27 层,Gemma2 27B 语言模型为 46 层。此模型已在数据集混合上进行了预训练。 |
phi3_mini_4k_instruct_en | 3.82B | 38 亿参数,32 层,4k 上下文长度,Phi-3 模型。该模型使用 Phi-3 数据集进行训练。该数据集包括合成数据和经过筛选的公开可用网站数据,重点关注高质量和推理密集型属性。 |
phi3_mini_128k_instruct_en | 3.82B | 38 亿参数,32 层,128k 上下文长度,Phi-3 模型。该模型使用 Phi-3 数据集进行训练。该数据集包括合成数据和经过筛选的公开可用网站数据,重点关注高质量和推理密集型属性。 |
compile
方法CausalLM.compile(
optimizer="auto", loss="auto", weighted_metrics="auto", sampler="top_k", **kwargs
)
配置 CausalLM
任务以进行训练和生成。
CausalLM
任务使用 optimizer
、loss
和 weighted_metrics
的默认值扩展了 keras.Model.compile
的默认编译签名。要覆盖这些默认值,请在编译期间将任何值传递给这些参数。
CausalLM
任务向 compile
添加了一个新的 sampler
,该采样器可用于控制与 generate
函数一起使用的采样策略。
请注意,由于训练输入包括从损失中排除的填充 token,因此几乎总是建议使用 weighted_metrics
而不是 metrics
进行编译。
参数
"auto"
、优化器名称或 keras.Optimizer
实例。默认为 "auto"
,它为给定的模型和任务使用默认优化器。有关可能的 optimizer
值的更多信息,请参阅 keras.Model.compile
和 keras.optimizers
。"auto"
、损失名称或 keras.losses.Loss
实例。默认为 "auto"
,其中 keras.losses.SparseCategoricalCrossentropy
损失将应用于 token 分类 CausalLM
任务。有关可能的 loss
值的更多信息,请参阅 keras.Model.compile
和 keras.losses
。"auto"
,或在模型训练和测试期间要评估的指标列表。默认为 "auto"
,其中 keras.metrics.SparseCategoricalAccuracy
将应用于跟踪模型在猜测掩码 token 值时的准确率。有关可能的 weighted_metrics
值的更多信息,请参阅 keras.Model.compile
和 keras.metrics
。keras_hub.samplers.Sampler
实例。配置在 generate()
调用期间使用的采样方法。有关内置采样策略的完整列表,请参阅 keras_hub.samplers
。keras.Model.compile
。generate
方法CausalLM.generate(inputs, max_length=None, stop_token_ids="auto", strip_prompt=False)
根据提示 inputs
生成文本。
此方法根据给定的 inputs
生成文本。用于生成的采样方法可以通过 compile()
方法设置。
如果 inputs
是 tf.data.Dataset
,则输出将“按批次”生成并连接。否则,所有输入都将作为单个批次处理。
如果模型附加了 preprocessor
,则 inputs
将在 generate()
函数内部进行预处理,并且应与 preprocessor
层期望的结构(通常是原始字符串)匹配。如果未附加 preprocessor
,则输入应与 backbone
期望的结构匹配。有关每种情况的演示,请参阅上面的示例用法。
参数
tf.data.Dataset
。如果模型附加了 preprocessor
,则 inputs
应与 preprocessor
层期望的结构匹配。如果未附加 preprocessor
,则 inputs
应与 backbone
模型期望的结构匹配。preprocessor
配置的最大 sequence_length
。如果 preprocessor
为 None
,则 inputs
应填充到所需的最大长度,并且此参数将被忽略。None
、“auto”或 token ID 元组。默认为“auto”,它使用 preprocessor.tokenizer.end_token_id
。不指定处理器将产生错误。None
在生成 max_length
个 token 后停止生成。您还可以指定模型应停止的一系列 token ID。请注意,token 序列都将被解释为停止 token,不支持多 token 停止序列。save_to_preset
方法CausalLM.save_to_preset(preset_dir)
将任务保存到预设目录。
参数
preprocessor
属性keras_hub.models.CausalLM.preprocessor
用于预处理输入的 keras_hub.models.Preprocessor
层。
backbone
属性keras_hub.models.CausalLM.backbone
具有核心架构的 keras_hub.models.Backbone
模型。