KerasNLP 模型
KerasNLP 包含流行模型架构的端到端实现。这些模型可以通过两种方式创建
- 通过
from_preset()构造函数，它会实例化一个具有预训练配置、词汇表和（可选）权重的对象。 - 通过用户控制的自定义配置。
下面，我们列出了库中所有可用的预设。有关更详细的使用方法，请浏览特定类的文档字符串。有关我们 API 的深入介绍，请参阅入门指南。
预设
以下预设名称对应于预训练模型的配置和权重。任何任务、预处理器、骨干或分词器 from_preset() 都可以用来从保存的预设创建模型。
backbone = keras_nlp.models.Backbone.from_preset("bert_base_en")
tokenizer = keras_nlp.models.Tokenizer.from_preset("bert_base_en")
classifier = keras_nlp.models.TextClassifier.from_preset("bert_base_en", num_classes=2)
preprocessor = keras_nlp.models.TextClassifierPreprocessor.from_preset("bert_base_en")
| 预设名称 | 模型 | 参数 | 描述 |
|---|---|---|---|
| albert_base_en_uncased | ALBERT | 11.68M | 12 层 ALBERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| albert_large_en_uncased | ALBERT | 17.68M | 24 层 ALBERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| albert_extra_large_en_uncased | ALBERT | 58.72M | 24 层 ALBERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| albert_extra_extra_large_en_uncased | ALBERT | 222.60M | 12 层 ALBERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bart_base_en | BART | 139.42M | 6 层 BART 模型，保留大小写。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。模型卡片 |
| bart_large_en | BART | 406.29M | 12 层 BART 模型，保留大小写。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。模型卡片 |
| bart_large_en_cnn | BART | 406.29M | 在 CNN+DM 摘要数据集上微调的 bart_large_en 骨干模型。模型卡片 |
| bert_tiny_en_uncased | BERT | 4.39M | 2 层 BERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_small_en_uncased | BERT | 28.76M | 4 层 BERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_medium_en_uncased | BERT | 41.37M | 8 层 BERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_base_en_uncased | BERT | 109.48M | 12 层 BERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_base_en | BERT | 108.31M | 12 层 BERT 模型，保留大小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_base_zh | BERT | 102.27M | 12 层 BERT 模型。在中文维基百科上训练。模型卡片 |
| bert_base_multi | BERT | 177.85M | 12 层 BERT 模型，保留大小写。在 104 种语言的维基百科上训练 模型卡片 |
| bert_large_en_uncased | BERT | 335.14M | 24 层 BERT 模型，所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_large_en | BERT | 333.58M | 24 层 BERT 模型，保留大小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| bert_tiny_en_uncased_sst2 | BERT | 4.39M | 在 SST-2 情感分析数据集上微调的 bert_tiny_en_uncased 骨干模型。模型卡片 |
| bloom_560m_multi | BLOOM | 559.21M | 24 层 Bloom 模型，隐藏维度为 1024。在 45 种自然语言和 12 种编程语言上训练。模型卡片 |
| bloom_1.1b_multi | BLOOM | 1.07B | 24 层 Bloom 模型，隐藏维度为 1536。在 45 种自然语言和 12 种编程语言上训练。模型卡片 |
| bloom_1.7b_multi | BLOOM | 1.72B | 24 层 Bloom 模型，隐藏维度为 2048。在 45 种自然语言和 12 种编程语言上训练。模型卡片 |
| bloom_3b_multi | BLOOM | 3.00B | 30 层 Bloom 模型，隐藏维度为 2560。在 45 种自然语言和 12 种编程语言上训练。模型卡片 |
| bloomz_560m_multi | BLOOMZ | 559.21M | 24 层 Bloom 模型，隐藏维度为 1024。在跨语言任务混合 (xP3) 数据集上微调。模型卡片 |
| bloomz_1.1b_multi | BLOOMZ | 1.07B | 24 层 Bloom 模型，隐藏维度为 1536。在跨语言任务混合 (xP3) 数据集上微调。模型卡片 |
| bloomz_1.7b_multi | BLOOMZ | 1.72B | 24 层 Bloom 模型，隐藏维度为 2048。在跨语言任务混合 (xP3) 数据集上微调。模型卡片 |
| bloomz_3b_multi | BLOOMZ | 3.00B | 30 层 Bloom 模型，隐藏维度为 2560。在跨语言任务混合 (xP3) 数据集上微调。模型卡片 |
| deberta_v3_extra_small_en | DeBERTaV3 | 70.68M | 12 层 DeBERTaV3 模型，保留大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。模型卡片 |
| deberta_v3_small_en | DeBERTaV3 | 141.30M | 6 层 DeBERTaV3 模型，保留大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。模型卡片 |
| deberta_v3_base_en | DeBERTaV3 | 183.83M | 12 层 DeBERTaV3 模型，保留大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。模型卡片 |
| deberta_v3_large_en | DeBERTaV3 | 434.01M | 24 层 DeBERTaV3 模型，保留大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。模型卡片 |
| deberta_v3_base_multi | DeBERTaV3 | 278.22M | 12 层 DeBERTaV3 模型，保留大小写。在 2.5TB 多语言 CC100 数据集上训练。模型卡片 |
| distil_bert_base_en_uncased | DistilBERT | 66.36M | 6 层 DistilBERT 模型，所有输入都小写。使用 BERT 作为教师模型在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| distil_bert_base_en | DistilBERT | 65.19M | 6 层 DistilBERT 模型，保留大小写。使用 BERT 作为教师模型在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| distil_bert_base_multi | DistilBERT | 134.73M | 6 层 DistilBERT 模型，保留大小写。在 104 种语言的维基百科上训练 模型卡片 |
| electra_small_discriminator_uncased_en | ELECTRA | 13.55M | 12 层小型 ELECTRA 判别器模型。所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| electra_small_generator_uncased_en | ELECTRA | 13.55M | 12 层小型 ELECTRA 生成器模型。所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| electra_base_discriminator_uncased_en | ELECTRA | 109.48M | 12 层基础 ELECTRA 判别器模型。所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| electra_base_generator_uncased_en | ELECTRA | 33.58M | 12 层基础 ELECTRA 生成器模型。所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| electra_large_discriminator_uncased_en | ELECTRA | 335.14M | 24 层大型 ELECTRA 判别器模型。所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| electra_large_generator_uncased_en | ELECTRA | 51.07M | 24 层大型 ELECTRA 生成器模型。所有输入都小写。在英文维基百科 + BooksCorpus 上训练。模型卡片 |
| f_net_base_en | FNet | 82.86M | 12 层 FNet 模型，保留大小写。在 C4 数据集上训练。模型卡片 |
| f_net_large_en | FNet | 236.95M | 24 层 FNet 模型，保留大小写。在 C4 数据集上训练。模型卡片 |
| falcon_refinedweb_1b_en | Falcon | 1.31B | 24 层 Falcon 模型（具有 10 亿个参数的 Falcon），在 RefinedWeb 数据集的 3500 亿个 token 上训练。模型卡片 |
| gemma_2b_en | Gemma | 2.51B | 20 亿参数、18 层、基础 Gemma 模型。模型卡片 |
| gemma_instruct_2b_en | Gemma | 2.51B | 20 亿参数、18 层、指令微调 Gemma 模型。模型卡片 |
| gemma_1.1_instruct_2b_en | Gemma | 2.51B | 20 亿参数、18 层、指令微调 Gemma 模型。1.1 更新提高了模型质量。模型卡片 |
| code_gemma_1.1_2b_en | Gemma | 2.51B | 20 亿参数、18 层、CodeGemma 模型。该模型已在代码补全的中间填充 (FIM) 任务上进行训练。1.1 更新提高了模型质量。模型卡片 |
| code_gemma_2b_en | Gemma | 2.51B | 20 亿参数、18 层、CodeGemma 模型。该模型已在代码补全的中间填充 (FIM) 任务上进行训练。模型卡片 |
| gemma_7b_en | Gemma | 8.54B | 70 亿参数、28 层、基础 Gemma 模型。模型卡片 |
| gemma_instruct_7b_en | Gemma | 8.54B | 70 亿参数、28 层、指令微调 Gemma 模型。模型卡片 |
| gemma_1.1_instruct_7b_en | Gemma | 8.54B | 70 亿参数、28 层、指令微调 Gemma 模型。1.1 更新提高了模型质量。模型卡片 |
| code_gemma_7b_en | Gemma | 8.54B | 70 亿参数、28 层、CodeGemma 模型。该模型已在代码补全的中间填充 (FIM) 任务上进行训练。模型卡片 |
| code_gemma_instruct_7b_en | Gemma | 8.54B | 70 亿参数、28 层、指令微调 CodeGemma 模型。该模型已针对与代码相关的聊天用例进行训练。模型卡片 |
| code_gemma_1.1_instruct_7b_en | Gemma | 8.54B | 70 亿参数、28 层、指令微调 CodeGemma 模型。该模型已针对与代码相关的聊天用例进行训练。1.1 更新提高了模型质量。模型卡片 |
| gemma2_2b_en | Gemma | 2.61B | 20亿参数，26层，基础Gemma模型。 模型卡片 |
| gemma2_instruct_2b_en | Gemma | 2.61B | 20亿参数，26层，指令微调的Gemma模型。 模型卡片 |
| gemma2_9b_en | Gemma | 92.4亿 | 90亿参数，42层，基础Gemma模型。 模型卡片 |
| gemma2_instruct_9b_en | Gemma | 92.4亿 | 90亿参数，42层，指令微调的Gemma模型。 模型卡片 |
| gemma2_27b_en | Gemma | 272.3亿 | 270亿参数，42层，基础Gemma模型。 模型卡片 |
| gemma2_instruct_27b_en | Gemma | 272.3亿 | 270亿参数，42层，指令微调的Gemma模型。 模型卡片 |
| shieldgemma_2b_en | Gemma | 2.61B | 20亿参数，26层，ShieldGemma模型。 模型卡片 |
| shieldgemma_9b_en | Gemma | 92.4亿 | 90亿参数，42层，ShieldGemma模型。 模型卡片 |
| shieldgemma_27b_en | Gemma | 272.3亿 | 270亿参数，42层，ShieldGemma模型。 模型卡片 |
| gpt2_base_en | GPT-2 | 1.24亿 | 12层GPT-2模型，保留大小写。在WebText上训练。 模型卡片 |
| gpt2_medium_en | GPT-2 | 3.55亿 | 24层GPT-2模型，保留大小写。在WebText上训练。 模型卡片 |
| gpt2_large_en | GPT-2 | 7.74亿 | 36层GPT-2模型，保留大小写。在WebText上训练。 模型卡片 |
| gpt2_extra_large_en | GPT-2 | 15.6亿 | 48层GPT-2模型，保留大小写。在WebText上训练。 模型卡片 |
| gpt2_base_en_cnn_dailymail | GPT-2 | 1.24亿 | 12层GPT-2模型，保留大小写。在CNN/DailyMail摘要数据集上微调。 |
| llama3_8b_en | LLaMA 3 | 80.3亿 | 80亿参数，32层，基础LLaMA 3模型。 模型卡片 |
| llama3_8b_en_int8 | LLaMA 3 | 80.3亿 | 80亿参数，32层，基础LLaMA 3模型，激活函数和权重量化为int8。 模型卡片 |
| llama3_instruct_8b_en | LLaMA 3 | 80.3亿 | 80亿参数，32层，指令微调的LLaMA 3模型。 模型卡片 |
| llama3_instruct_8b_en_int8 | LLaMA 3 | 80.3亿 | 80亿参数，32层，指令微调的LLaMA 3模型，激活函数和权重量化为int8。 模型卡片 |
| llama2_7b_en | LLaMA 2 | 67.4亿 | 70亿参数，32层，基础LLaMA 2模型。 模型卡片 |
| llama2_7b_en_int8 | LLaMA 2 | 67.4亿 | 70亿参数，32层，基础LLaMA 2模型，激活函数和权重量化为int8。 模型卡片 |
| llama2_instruct_7b_en | LLaMA 2 | 67.4亿 | 70亿参数，32层，指令微调的LLaMA 2模型。 模型卡片 |
| llama2_instruct_7b_en_int8 | LLaMA 2 | 67.4亿 | 70亿参数，32层，指令微调的LLaMA 2模型，激活函数和权重量化为int8。 模型卡片 |
| vicuna_1.5_7b_en | Vicuna | 67.4亿 | 70亿参数，32层，指令微调的Vicuna v1.5模型。 模型卡片 |
| mistral_7b_en | Mistral | 72.4亿 | Mistral 7B基础模型 模型卡片 |
| mistral_instruct_7b_en | Mistral | 72.4亿 | Mistral 7B指令模型 模型卡片 |
| mistral_0.2_instruct_7b_en | Mistral | 72.4亿 | Mistral 7B指令模型版本0.2 模型卡片 |
| opt_125m_en | OPT | 1.25亿 | 12层OPT模型，保留大小写。在BookCorpus、CommonCrawl、Pile和PushShift.io语料库上训练。 模型卡片 |
| opt_1.3b_en | OPT | 13.2亿 | 24层OPT模型，保留大小写。在BookCorpus、CommonCrawl、Pile和PushShift.io语料库上训练。 模型卡片 |
| opt_2.7b_en | OPT | 27亿 | 32层OPT模型，保留大小写。在BookCorpus、CommonCrawl、Pile和PushShift.io语料库上训练。 模型卡片 |
| opt_6.7b_en | OPT | 67亿 | 32层OPT模型，保留大小写。在BookCorpus、CommonCrawl、Pile和PushShift.io语料库上训练。 模型卡片 |
| pali_gemma_3b_mix_224 | PaliGemma | 29.2亿 | 图像尺寸224，混合微调，文本序列长度为256 模型卡片 |
| pali_gemma_3b_mix_448 | PaliGemma | 29.2亿 | 图像尺寸448，混合微调，文本序列长度为512 模型卡片 |
| pali_gemma_3b_224 | PaliGemma | 29.2亿 | 图像尺寸224，预训练，文本序列长度为128 模型卡片 |
| pali_gemma_3b_448 | PaliGemma | 29.2亿 | 图像尺寸448，预训练，文本序列长度为512 模型卡片 |
| pali_gemma_3b_896 | PaliGemma | 29.3亿 | 图像尺寸896，预训练，文本序列长度为512 模型卡片 |
| phi3_mini_4k_instruct_en | Phi-3 | 38.2亿 | 38亿参数，32层，4k上下文长度，Phi-3模型。该模型使用Phi-3数据集进行训练。此数据集包含合成数据和经过过滤的公开网站数据，重点关注高质量和推理密集型属性。 模型卡片 |
| phi3_mini_128k_instruct_en | Phi-3 | 38.2亿 | 38亿参数，32层，128k上下文长度，Phi-3模型。该模型使用Phi-3数据集进行训练。此数据集包含合成数据和经过过滤的公开网站数据，重点关注高质量和推理密集型属性。 模型卡片 |
| roberta_base_en | RoBERTa | 1.24亿 | 12层RoBERTa模型，保留大小写。在英文维基百科、BooksCorpus、CommonCrawl和OpenWebText上训练。 模型卡片 |
| roberta_large_en | RoBERTa | 3.54亿 | 24层RoBERTa模型，保留大小写。在英文维基百科、BooksCorpus、CommonCrawl和OpenWebText上训练。 模型卡片 |
| t5_small_multi | T5 | 0 | 8层T5模型。在巨型干净爬取语料库 (C4) 上训练。 模型卡片 |
| t5_base_multi | T5 | 0 | 12层T5模型。在巨型干净爬取语料库 (C4) 上训练。 模型卡片 |
| t5_large_multi | T5 | 0 | 24层T5模型。在巨型干净爬取语料库 (C4) 上训练。 模型卡片 |
| flan_small_multi | T5 | 0 | 8层T5模型。在巨型干净爬取语料库 (C4) 上训练。 模型卡片 |
| flan_base_multi | T5 | 0 | 12层T5模型。在巨型干净爬取语料库 (C4) 上训练。 模型卡片 |
| flan_large_multi | T5 | 0 | 24层T5模型。在巨型干净爬取语料库 (C4) 上训练。 模型卡片 |
| whisper_tiny_en | Whisper | 3718万 | 4层Whisper模型。在43.8万小时的带标签英文语音数据上训练。 模型卡片 |
| whisper_base_en | Whisper | 1.24亿 | 6层Whisper模型。在43.8万小时的带标签英文语音数据上训练。 模型卡片 |
| whisper_small_en | Whisper | 2.42亿 | 12层Whisper模型。在43.8万小时的带标签英文语音数据上训练。 模型卡片 |
| whisper_medium_en | Whisper | 7.64亿 | 24层Whisper模型。在43.8万小时的带标签英文语音数据上训练。 模型卡片 |
| whisper_tiny_multi | Whisper | 3776万 | 4层Whisper模型。在68万小时的带标签多语言语音数据上训练。 模型卡片 |
| whisper_base_multi | Whisper | 7259万 | 6层Whisper模型。在68万小时的带标签多语言语音数据上训练。 模型卡片 |
| whisper_small_multi | Whisper | 2.42亿 | 12层Whisper模型。在68万小时的带标签多语言语音数据上训练。 模型卡片 |
| whisper_medium_multi | Whisper | 7.64亿 | 24层Whisper模型。在68万小时的带标签多语言语音数据上训练。 模型卡片 |
| whisper_large_multi | Whisper | 15.4亿 | 32层Whisper模型。在68万小时的带标签多语言语音数据上训练。 模型卡片 |
| whisper_large_multi_v2 | Whisper | 15.4亿 | 32层Whisper模型。在68万小时的带标签多语言语音数据上训练了2.5个周期。whisper_large_multi的改进版本。 模型卡片 |
| xlm_roberta_base_multi | XLM-RoBERTa | 2.77亿 | 12层XLM-RoBERTa模型，保留大小写。在100种语言的CommonCrawl上训练。 模型卡片 |
| xlm_roberta_large_multi | XLM-RoBERTa | 5.59亿 | 24层XLM-RoBERTa模型，保留大小写。在100种语言的CommonCrawl上训练。 模型卡片 |
注意：提供的链接将指向模型卡片或官方README，如果作者未提供模型卡片。
API文档
Albert
- AlbertTokenizer
- AlbertBackbone模型
- AlbertTextClassifier模型
- AlbertTextClassifierPreprocessor层
- AlbertMaskedLM模型
- AlbertMaskedLMPreprocessor层
Bart
Bert
- BertTokenizer
- BertBackbone模型
- BertTextClassifier模型
- BertTextClassifierPreprocessor层
- BertMaskedLM模型
- BertMaskedLMPreprocessor层
Bloom
DebertaV3
- DebertaV3Tokenizer
- DebertaV3Backbone模型
- DebertaV3TextClassifier模型
- DebertaV3TextClassifierPreprocessor层
- DebertaV3MaskedLM模型
- DebertaV3MaskedLMPreprocessor层
DistilBert
- DistilBertTokenizer
- DistilBertBackbone模型
- DistilBertTextClassifier模型
- DistilBertTextClassifierPreprocessor层
- DistilBertMaskedLM模型
- DistilBertMaskedLMPreprocessor层
Gemma
Electra
Falcon
FNet
- FNetTokenizer
- FNetBackbone模型
- FNetTextClassifier模型
- FNetTextClassifierPreprocessor层
- FNetMaskedLM模型
- FNetMaskedLMPreprocessor层
GPT2
Llama
Llama3
Mistral
OPT
PaliGemma
Phi3
Roberta
- RobertaTokenizer
- RobertaBackbone模型
- RobertaTextClassifier模型
- RobertaTextClassifierPreprocessor层
- RobertaMaskedLM模型
- RobertaMaskedLMPreprocessor层