► KerasHub：预训练模型 / KerasHub 预训练模型

KerasHub 预训练模型

下面，我们列出了 KerasHub 库中所有可用的预设模型。有关更详细的用法，请浏览特定类的文档字符串。要深入了解我们的 API，请参阅入门指南。

以下预设名称对应于预训练模型的配置和权重。任何任务（task）、预处理器（preprocessor）、骨干网络（backbone）或分词器（tokenizer）的 from_preset() 方法都可用于从已保存的预设模型创建模型。

backbone = keras_hub.models.Backbone.from_preset("bert_base_en")
tokenizer = keras_hub.models.Tokenizer.from_preset("bert_base_en")
classifier = keras_hub.models.TextClassifier.from_preset("bert_base_en", num_classes=2)
preprocessor = keras_hub.models.TextClassifierPreprocessor.from_preset("bert_base_en")
预设 模型 API 参数 描述
albert_base_en_uncased Albert 11.68M 12 层 ALBERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
albert_large_en_uncased Albert 17.68M 24 层 ALBERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
albert_extra_large_en_uncased Albert 58.72M 24 层 ALBERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
albert_extra_extra_large_en_uncased Albert 222.60M 12 层 ALBERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
bart_base_en Bart 139.42M 6 层 BART 模型，保持大小写。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。
bart_large_en Bart 406.29M 12 层 BART 模型，保持大小写。在 BookCorpus、英文维基百科和 CommonCrawl 上训练。
bart_large_en_cnn Bart 406.29M 在 CNN+DM 摘要数据集上微调的 bart_large_en 骨干模型。
basnet_duts - 108.89M BASNet 模型，具有 34 层 ResNet 骨干网络，在 288x288 分辨率的 DUTS 图像数据集上预训练。模型训练由 Hamid Ali 执行 (https://github.com/hamidriasat/BASNet)。
bert_tiny_en_uncased Bert 4.39M 2 层 BERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
bert_tiny_en_uncased_sst2 Bert 4.39M 在 SST-2 情感分析数据集上微调的 bert_tiny_en_uncased 骨干模型。
bert_small_en_uncased Bert 28.76M 4 层 BERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
bert_medium_en_uncased Bert 41.37M 8 层 BERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
bert_base_zh Bert 102.27M 12 层 BERT 模型。在中文维基百科上训练。
bert_base_en Bert 108.31M 12 层 BERT 模型，保持大小写。在英文维基百科 + BooksCorpus 上训练。
bert_base_en_uncased Bert 109.48M 12 层 BERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
bert_base_multi Bert 177.85M 12 层 BERT 模型，保持大小写。在 104 种语言的维基百科上训练
bert_large_en Bert 333.58M 24 层 BERT 模型，保持大小写。在英文维基百科 + BooksCorpus 上训练。
bert_large_en_uncased Bert 335.14M 24 层 BERT 模型，所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
bloom_560m_multi Bloom 559.21M 24 层 Bloom 模型，隐藏维度为 1024。在 45 种自然语言和 12 种编程语言上训练。
bloomz_560m_multi Bloom 559.21M 24 层 Bloom 模型，隐藏维度为 1024。在跨语言任务混合 (xP3) 数据集上微调。
bloom_1.1b_multi Bloom 1.07B 24 层 Bloom 模型，隐藏维度为 1536。在 45 种自然语言和 12 种编程语言上训练。
bloomz_1.1b_multi Bloom 1.07B 24 层 Bloom 模型，隐藏维度为 1536。在跨语言任务混合 (xP3) 数据集上微调。
bloom_1.7b_multi Bloom 1.72B 24 层 Bloom 模型，隐藏维度为 2048。在 45 种自然语言和 12 种编程语言上训练。
bloomz_1.7b_multi Bloom 1.72B 24 层 Bloom 模型，隐藏维度为 2048。在跨语言任务混合 (xP3) 数据集上微调。
bloom_3b_multi Bloom 3.00B 30 层 Bloom 模型，隐藏维度为 2560。在 45 种自然语言和 12 种编程语言上训练。
bloomz_3b_multi Bloom 3.00B 30 层 Bloom 模型，隐藏维度为 2560。在跨语言任务混合 (xP3) 数据集上微调。
clip_vit_base_patch16 - 149.62M 1.5 亿参数，视觉部分 12 层，文本部分 12 层，patch 大小为 16 的 CLIP 模型。
clip_vit_base_patch32 - 151.28M 1.51 亿参数，视觉部分 12 层，文本部分 12 层，patch 大小为 32 的 CLIP 模型。
clip_vit_b_32_laion2b_s34b_b79k - 151.28M 1.51 亿参数，视觉部分 12 层，文本部分 12 层，patch 大小为 32 的 Open CLIP 模型。
clip_vit_large_patch14 - 427.62M 4.28 亿参数，视觉部分 24 层，文本部分 12 层，patch 大小为 14 的 CLIP 模型。
clip_vit_large_patch14_336 - 427.94M 4.28 亿参数，视觉部分 24 层，文本部分 12 层，patch 大小为 14，图像大小为 336 的 CLIP 模型。
clip_vit_h_14_laion2b_s32b_b79k - 986.11M 9.86 亿参数，视觉部分 32 层，文本部分 24 层，patch 大小为 14 的 Open CLIP 模型。
clip_vit_g_14_laion2b_s12b_b42k - 1.37B 14 亿参数，视觉部分 40 层，文本部分 24 层，patch 大小为 14 的 Open CLIP 模型。
clip_vit_bigg_14_laion2b_39b_b160k - 2.54B 25 亿参数，视觉部分 48 层，文本部分 32 层，patch 大小为 14 的 Open CLIP 模型。
deberta_v3_extra_small_en DebertaV3 70.68M 12 层 DeBERTaV3 模型，保持大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。
deberta_v3_small_en DebertaV3 141.30M 6 层 DeBERTaV3 模型，保持大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。
deberta_v3_base_en DebertaV3 183.83M 12 层 DeBERTaV3 模型，保持大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。
deberta_v3_base_multi DebertaV3 278.22M 12 层 DeBERTaV3 模型，保持大小写。在 2.5TB 多语言 CC100 数据集上训练。
deberta_v3_large_en DebertaV3 434.01M 24 层 DeBERTaV3 模型，保持大小写。在英文维基百科、BookCorpus 和 OpenWebText 上训练。
deeplab_v3_plus_resnet50_pascalvoc DeepLabV3 39.19M DeepLabV3+ 模型，使用 ResNet50 作为图像编码器，并在增强的 Pascal VOC 数据集上训练，该数据集由 Semantic Boundaries Dataset(SBD) 构成，类别准确率为 90.01，平均 IoU 为 0.63。
densenet_121_imagenet DenseNet 7.04M 121 层 DenseNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
densenet_169_imagenet DenseNet 12.64M 169 层 DenseNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
densenet_201_imagenet DenseNet 18.32M 201 层 DenseNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
distil_bert_base_en DistilBert 65.19M 6 层 DistilBERT 模型，保持大小写。使用 BERT 作为教师模型，在英文维基百科 + BooksCorpus 上训练。
distil_bert_base_en_uncased DistilBert 66.36M 6 层 DistilBERT 模型，所有输入均为小写。使用 BERT 作为教师模型，在英文维基百科 + BooksCorpus 上训练。
distil_bert_base_multi DistilBert 134.73M 6 层 DistilBERT 模型，保持大小写。在 104 种语言的维基百科上训练
efficientnet_lite0_ra_imagenet - 4.65M EfficientNet-Lite 模型，在带有 RandAugment recipe 的 ImageNet 1k 数据集上微调。
efficientnet_b0_ra_imagenet - 5.29M EfficientNet B0 模型，在带有 RandAugment recipe 的 ImageNet 1k 数据集上预训练。
efficientnet_b0_ra4_e3600_r224_imagenet - 5.29M EfficientNet B0 模型，由 Ross Wightman 在 ImageNet 1k 数据集上预训练。使用 timm 脚本训练，超参数灵感来自 MobileNet-V4 small，并混合了 timm 和 'ResNet Strikes Back' 中的常用超参数。
efficientnet_es_ra_imagenet - 5.44M EfficientNet-EdgeTPU Small 模型，在带有 RandAugment recipe 的 ImageNet 1k 数据集上训练。
efficientnet_em_ra2_imagenet - 6.90M EfficientNet-EdgeTPU Medium 模型，在带有 RandAugment2 recipe 的 ImageNet 1k 数据集上训练。
efficientnet_b1_ft_imagenet - 7.79M EfficientNet B1 模型，在 ImageNet 1k 数据集上微调。
efficientnet_b1_ra4_e3600_r240_imagenet - 7.79M EfficientNet B1 模型，由 Ross Wightman 在 ImageNet 1k 数据集上预训练。使用 timm 脚本训练，超参数灵感来自 MobileNet-V4 small，并混合了 timm 和 'ResNet Strikes Back' 中的常用超参数。
efficientnet_b2_ra_imagenet - 9.11M EfficientNet B2 模型，在带有 RandAugment recipe 的 ImageNet 1k 数据集上预训练。
efficientnet_el_ra_imagenet - 10.59M EfficientNet-EdgeTPU Large 模型，在带有 RandAugment recipe 的 ImageNet 1k 数据集上训练。
efficientnet_b3_ra2_imagenet - 12.23M EfficientNet B3 模型，在带有 RandAugment2 recipe 的 ImageNet 1k 数据集上预训练。
efficientnet2_rw_t_ra2_imagenet - 13.65M EfficientNet-v2 Tiny 模型，在带有 RandAugment2 recipe 的 ImageNet 1k 数据集上训练。
efficientnet_b4_ra2_imagenet - 19.34M EfficientNet B4 模型，在带有 RandAugment2 recipe 的 ImageNet 1k 数据集上预训练。
efficientnet2_rw_s_ra2_imagenet - 23.94M EfficientNet-v2 Small 模型，在带有 RandAugment2 recipe 的 ImageNet 1k 数据集上训练。
efficientnet_b5_sw_imagenet - 30.39M EfficientNet B5 模型，由 Ross Wightman 在 ImageNet 12k 数据集上预训练。基于 Swin Transformer 训练/预训练 recipe，并进行了修改（与 DeiT 和 ConvNeXt recipes 相关）。
efficientnet_b5_sw_ft_imagenet - 30.39M EfficientNet B5 模型，由 Ross Wightman 在 ImageNet 12k 数据集上预训练，并在 ImageNet-1k 上微调。基于 Swin Transformer 训练/预训练 recipe，并进行了修改（与 DeiT 和 ConvNeXt recipes 相关）。
efficientnet2_rw_m_agc_imagenet - 53.24M EfficientNet-v2 Medium 模型，在带有自适应梯度裁剪的 ImageNet 1k 数据集上训练。
electra_small_discriminator_uncased_en Electra 13.55M 12 层小型 ELECTRA 判别器模型。所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
electra_small_generator_uncased_en Electra 13.55M 12 层小型 ELECTRA 生成器模型。所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
electra_base_generator_uncased_en Electra 33.58M 12 层基础 ELECTRA 生成器模型。所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
electra_large_generator_uncased_en Electra 51.07M 24 层大型 ELECTRA 生成器模型。所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
electra_base_discriminator_uncased_en Electra 109.48M 12 层基础 ELECTRA 判别器模型。所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
electra_large_discriminator_uncased_en Electra 335.14M 24 层大型 ELECTRA 判别器模型。所有输入均为小写。在英文维基百科 + BooksCorpus 上训练。
f_net_base_en FNet 82.86M 12 层 FNet 模型，保持大小写。在 C4 数据集上训练。
f_net_large_en FNet 236.95M 24 层 FNet 模型，保持大小写。在 C4 数据集上训练。
falcon_refinedweb_1b_en Falcon 1.31B 24 层 Falcon 模型（具有 10 亿参数的 Falcon），在 3500 亿 tokens 的 RefinedWeb 数据集上训练。
gemma_2b_en Gemma 2.51B 20 亿参数，18 层，基础 Gemma 模型。
gemma_instruct_2b_en Gemma 2.51B 20 亿参数，18 层，指令调优 Gemma 模型。
gemma_1.1_instruct_2b_en Gemma 2.51B 20 亿参数，18 层，指令调优 Gemma 模型。1.1 更新提高了模型质量。
code_gemma_1.1_2b_en Gemma 2.51B 20 亿参数，18 层，CodeGemma 模型。此模型已在代码补全的中间填充 (FIM) 任务上进行训练。1.1 更新提高了模型质量。
code_gemma_2b_en Gemma 2.51B 20 亿参数，18 层，CodeGemma 模型。此模型已在代码补全的中间填充 (FIM) 任务上进行训练。
gemma2_2b_en Gemma 2.61B 20 亿参数，26 层，基础 Gemma 模型。
gemma2_instruct_2b_en Gemma 2.61B 20 亿参数，26 层，指令调优 Gemma 模型。
shieldgemma_2b_en Gemma 2.61B 20 亿参数，26 层，ShieldGemma 模型。
gemma_7b_en Gemma 8.54B 70 亿参数，28 层，基础 Gemma 模型。
gemma_instruct_7b_en Gemma 8.54B 70 亿参数，28 层，指令调优 Gemma 模型。
gemma_1.1_instruct_7b_en Gemma 8.54B 70 亿参数，28 层，指令调优 Gemma 模型。1.1 更新提高了模型质量。
code_gemma_7b_en Gemma 8.54B 70 亿参数，28 层，CodeGemma 模型。此模型已在代码补全的中间填充 (FIM) 任务上进行训练。
code_gemma_instruct_7b_en Gemma 8.54B 70 亿参数，28 层，指令调优 CodeGemma 模型。此模型已针对与代码相关的聊天用例进行了训练。
code_gemma_1.1_instruct_7b_en Gemma 8.54B 70 亿参数，28 层，指令调优 CodeGemma 模型。此模型已针对与代码相关的聊天用例进行了训练。1.1 更新提高了模型质量。
gemma2_9b_en Gemma 9.24B 90 亿参数，42 层，基础 Gemma 模型。
gemma2_instruct_9b_en Gemma 9.24B 90 亿参数，42 层，指令调优 Gemma 模型。
shieldgemma_9b_en Gemma 9.24B 90 亿参数，42 层，ShieldGemma 模型。
gemma2_27b_en Gemma 27.23B 270 亿参数，42 层，基础 Gemma 模型。
gemma2_instruct_27b_en Gemma 27.23B 270 亿参数，42 层，指令调优 Gemma 模型。
shieldgemma_27b_en Gemma 27.23B 270 亿参数，42 层，ShieldGemma 模型。
gpt2_base_en GPT2 124.44M 12 层 GPT-2 模型，保持大小写。在 WebText 上训练。
gpt2_base_en_cnn_dailymail GPT2 124.44M 12 层 GPT-2 模型，保持大小写。在 CNN/DailyMail 摘要数据集上微调。
gpt2_medium_en GPT2 354.82M 24 层 GPT-2 模型，保持大小写。在 WebText 上训练。
gpt2_large_en GPT2 774.03M 36 层 GPT-2 模型，保持大小写。在 WebText 上训练。
gpt2_extra_large_en GPT2 1.56B 48 层 GPT-2 模型，保持大小写。在 WebText 上训练。
llama2_7b_en Llama 6.74B 70 亿参数，32 层，基础 LLaMA 2 模型。
llama2_instruct_7b_en Llama 6.74B 70 亿参数，32 层，指令调优 LLaMA 2 模型。
vicuna_1.5_7b_en Llama 6.74B 70 亿参数，32 层，指令调优 Vicuna v1.5 模型。
llama2_7b_en_int8 Llama 6.74B 70 亿参数，32 层，基础 LLaMA 2 模型，激活和权重量化为 int8。
llama2_instruct_7b_en_int8 Llama 6.74B 70 亿参数，32 层，指令调优 LLaMA 2 模型，激活和权重量化为 int8。
llama3_8b_en Llama3 8.03B 80 亿参数，32 层，基础 LLaMA 3 模型。
llama3_instruct_8b_en Llama3 8.03B 80 亿参数，32 层，指令调优 LLaMA 3 模型。
llama3_8b_en_int8 Llama3 8.03B 80 亿参数，32 层，基础 LLaMA 3 模型，激活和权重量化为 int8。
llama3_instruct_8b_en_int8 Llama3 8.03B 80 亿参数，32 层，指令调优 LLaMA 3 模型，激活和权重量化为 int8。
mistral_7b_en Mistral 7.24B Mistral 7B 基础模型
mistral_instruct_7b_en Mistral 7.24B Mistral 7B 指令模型
mistral_0.2_instruct_7b_en Mistral 7.24B Mistral 7B 指令模型 0.2 版本
mit_b0_ade20k_512 MiT 3.32M MiT (MixTransformer) 模型，具有 8 个 transformer 块。
mit_b0_cityscapes_1024 MiT 3.32M MiT (MixTransformer) 模型，具有 8 个 transformer 块。
mit_b1_ade20k_512 MiT 13.16M MiT (MixTransformer) 模型，具有 8 个 transformer 块。
mit_b1_cityscapes_1024 MiT 13.16M MiT (MixTransformer) 模型，具有 8 个 transformer 块。
mit_b2_ade20k_512 MiT 24.20M MiT (MixTransformer) 模型，具有 16 个 transformer 块。
mit_b2_cityscapes_1024 MiT 24.20M MiT (MixTransformer) 模型，具有 16 个 transformer 块。
mit_b3_ade20k_512 MiT 44.08M MiT (MixTransformer) 模型，具有 28 个 transformer 块。
mit_b3_cityscapes_1024 MiT 44.08M MiT (MixTransformer) 模型，具有 28 个 transformer 块。
mit_b4_ade20k_512 MiT 60.85M MiT (MixTransformer) 模型，具有 41 个 transformer 块。
mit_b4_cityscapes_1024 MiT 60.85M MiT (MixTransformer) 模型，具有 41 个 transformer 块。
mit_b5_ade20k_640 MiT 81.45M MiT (MixTransformer) 模型，具有 52 个 transformer 块。
mit_b5_cityscapes_1024 MiT 81.45M MiT (MixTransformer) 模型，具有 52 个 transformer 块。
mobilenet_v3_small_050_imagenet - 278.78K 小型 MobileNet V3 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
opt_125m_en OPT 125.24M 12 层 OPT 模型，保持大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。
opt_1.3b_en OPT 1.32B 24 层 OPT 模型，保持大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。
opt_2.7b_en OPT 2.70B 32 层 OPT 模型，保持大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。
opt_6.7b_en OPT 6.70B 32 层 OPT 模型，保持大小写。在 BookCorpus、CommonCrawl、Pile 和 PushShift.io 语料库上训练。
pali_gemma_3b_mix_224 PaliGemma 2.92B 图像大小 224，混合微调，文本序列长度为 256
pali_gemma_3b_224 PaliGemma 2.92B 图像大小 224，预训练，文本序列长度为 128
pali_gemma_3b_mix_448 PaliGemma 2.92B 图像大小 448，混合微调，文本序列长度为 512
pali_gemma_3b_448 PaliGemma 2.92B 图像大小 448，预训练，文本序列长度为 512
pali_gemma_3b_896 PaliGemma 2.93B 图像大小 896，预训练，文本序列长度为 512
pali_gemma2_mix_3b_224 - 3.03B 30 亿参数，图像大小 224，SigLIP-So400m 视觉编码器 27 层，Gemma2 2B 语言模型 26 层。此模型已在各种视觉-语言任务和领域上进行了微调。
pali_gemma2_pt_3b_224 - 3.03B 30 亿参数，图像大小 224，SigLIP-So400m 视觉编码器 27 层，Gemma2 2B 语言模型 26 层。此模型已在混合数据集上进行了预训练。
pali_gemma_2_ft_docci_3b_448 - 3.03B 30 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 2B 语言模型 26 层。此模型已在 DOCCI 数据集上进行了微调，以改进具有精细细节的描述。
pali_gemma2_mix_3b_448 - 3.03B 30 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 2B 语言模型 26 层。此模型已在各种视觉-语言任务和领域上进行了微调。
pali_gemma2_pt_3b_448 - 3.03B 30 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 2B 语言模型 26 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_pt_3b_896 - 3.04B 30 亿参数，图像大小 896，SigLIP-So400m 视觉编码器 27 层，Gemma2 2B 语言模型 26 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_mix_10b_224 - 9.66B 100 亿参数，图像大小 224，SigLIP-So400m 视觉编码器 27 层，Gemma2 9B 语言模型 42 层。此模型已在各种视觉-语言任务和领域上进行了微调。
pali_gemma2_pt_10b_224 - 9.66B 100 亿参数，图像大小 224，SigLIP-So400m 视觉编码器 27 层，Gemma2 9B 语言模型 42 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_ft_docci_10b_448 - 9.66B 100 亿参数，SigLIP-So400m 视觉编码器 27 层，Gemma2 9B 语言模型 42 层。此模型已在 DOCCI 数据集上进行了微调，以改进具有精细细节的描述。
pali_gemma2_mix_10b_448 - 9.66B 100 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 9B 语言模型 42 层。此模型已在各种视觉-语言任务和领域上进行了微调。
pali_gemma2_pt_10b_448 - 9.66B 100 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 9B 语言模型 42 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_pt_10b_896 - 9.67B 100 亿参数，图像大小 896，SigLIP-So400m 视觉编码器 27 层，Gemma2 9B 语言模型 42 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_mix_28b_224 - 27.65B 280 亿参数，图像大小 224，SigLIP-So400m 视觉编码器 27 层，Gemma2 27B 语言模型 46 层。此模型已在各种视觉-语言任务和领域上进行了微调。
pali_gemma2_mix_28b_448 - 27.65B 280 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 27B 语言模型 46 层。此模型已在各种视觉-语言任务和领域上进行了微调。
pali_gemma2_pt_28b_224 - 27.65B 280 亿参数，图像大小 224，SigLIP-So400m 视觉编码器 27 层，Gemma2 27B 语言模型 46 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_pt_28b_448 - 27.65B 280 亿参数，图像大小 448，SigLIP-So400m 视觉编码器 27 层，Gemma2 27B 语言模型 46 层。此模型已在混合数据集上进行了预训练。
pali_gemma2_pt_28b_896 - 27.65B 280 亿参数，图像大小 896，SigLIP-So400m 视觉编码器 27 层，Gemma2 27B 语言模型 46 层。此模型已在混合数据集上进行了预训练。
phi3_mini_4k_instruct_en Phi3 3.82B 38 亿参数，32 层，4k 上下文长度，Phi-3 模型。该模型使用 Phi-3 数据集进行训练。此数据集包括合成数据和经过筛选的公开网站数据，重点是高质量和推理密集型属性。
phi3_mini_128k_instruct_en Phi3 3.82B 38 亿参数，32 层，128k 上下文长度，Phi-3 模型。该模型使用 Phi-3 数据集进行训练。此数据集包括合成数据和经过筛选的公开网站数据，重点是高质量和推理密集型属性。
resnet_18_imagenet ResNet 11.19M 18 层 ResNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_18_imagenet ResNet 11.72M 18 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_34_imagenet ResNet 21.84M 34 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_50_imagenet ResNet 23.56M 50 层 ResNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_v2_50_imagenet ResNet 23.56M 50 层 ResNetV2 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_50_imagenet ResNet 25.63M 50 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_50_ssld_imagenet ResNet 25.63M 50 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练，并使用知识蒸馏。
resnet_vd_50_ssld_v2_imagenet ResNet 25.63M 50 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练，并使用知识蒸馏和 AutoAugment。
resnet_vd_50_ssld_v2_fix_imagenet ResNet 25.63M 50 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练，并使用知识蒸馏、AutoAugment 以及分类头的额外微调。
resnet_101_imagenet ResNet 42.61M 101 层 ResNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_v2_101_imagenet ResNet 42.61M 101 层 ResNetV2 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_101_imagenet ResNet 44.67M 101 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_101_ssld_imagenet ResNet 44.67M 101 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练，并使用知识蒸馏。
resnet_152_imagenet ResNet 58.30M 152 层 ResNet 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_152_imagenet ResNet 60.36M 152 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
resnet_vd_200_imagenet ResNet 74.93M 200 层 ResNetVD（带有技巧包的 ResNet）模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
retinanet_resnet50_fpn_coco - 34.12M RetinaNet 模型，具有 ResNet50 骨干网络，在 800x800 分辨率的 COCO 上微调。
roberta_base_en Roberta 124.05M 12 层 RoBERTa 模型，保持大小写。在英文维基百科、BooksCorpus、CommonCraw 和 OpenWebText 上训练。
roberta_large_en Roberta 354.31M 24 层 RoBERTa 模型，保持大小写。在英文维基百科、BooksCorpus、CommonCraw 和 OpenWebText 上训练。
sam_base_sa1b Segment Anything Model 93.74M 在 SA1B 数据集上训练的基础 SAM 模型。
sam_huge_sa1b Segment Anything Model 312.34M 在 SA1B 数据集上训练的大型 SAM 模型。
sam_large_sa1b Segment Anything Model 641.09M 在 SA1B 数据集上训练的巨大 SAM 模型。
stable_diffusion_3_medium Stable Diffusion 3 2.99B 30 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT 生成模型和 VAE 自编码器。由 Stability AI 开发。
stable_diffusion_3.5_medium Stable Diffusion 3 3.37B 30 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT-X 生成模型和 VAE 自编码器。由 Stability AI 开发。
stable_diffusion_3.5_large Stable Diffusion 3 9.05B 90 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT 生成模型和 VAE 自编码器。由 Stability AI 开发。
stable_diffusion_3.5_large_turbo Stable Diffusion 3 9.05B 90 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT 生成模型和 VAE 自编码器。一个时间步蒸馏版本，消除了无分类器指导，并使用更少的步骤进行生成。由 Stability AI 开发。
t5_small_multi T5 0 8 层 T5 模型。在 Colossal Clean Crawled Corpus (C4) 上训练。
t5_base_multi T5 0 12 层 T5 模型。在 Colossal Clean Crawled Corpus (C4) 上训练。
t5_large_multi T5 0 24 层 T5 模型。在 Colossal Clean Crawled Corpus (C4) 上训练。
flan_small_multi T5 0 8 层 T5 模型。在 Colossal Clean Crawled Corpus (C4) 上训练。
flan_base_multi T5 0 12 层 T5 模型。在 Colossal Clean Crawled Corpus (C4) 上训练。
flan_large_multi T5 0 24 层 T5 模型。在 Colossal Clean Crawled Corpus (C4) 上训练。
t5_1.1_small T5 60.51M
t5_1.1_base T5 247.58M
t5_1.1_large T5 750.25M
t5_1.1_xl T5 2.85B
t5_1.1_xxl T5 11.14B
vgg_11_imagenet VGG 9.22M 11 层 vgg 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
vgg_13_imagenet VGG 9.40M 13 层 vgg 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
vgg_16_imagenet VGG 14.71M 16 层 vgg 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
vgg_19_imagenet VGG 20.02M 19 层 vgg 模型，在 224x224 分辨率的 ImageNet 1k 数据集上预训练。
vit_base_patch16_224_imagenet - 85.80M ViT-B16 模型，在图像分辨率为 224x224 的 ImageNet 1k 数据集上预训练
vit_base_patch16_224_imagenet21k - 85.80M ViT-B16 骨干网络，在图像分辨率为 224x224 的 ImageNet 21k 数据集上预训练
vit_base_patch16_384_imagenet - 86.09M ViT-B16 模型，在图像分辨率为 384x384 的 ImageNet 1k 数据集上预训练
vit_base_patch32_224_imagenet21k - 87.46M ViT-B32 骨干网络，在图像分辨率为 224x224 的 ImageNet 21k 数据集上预训练
vit_base_patch32_384_imagenet - 87.53M ViT-B32 模型，在图像分辨率为 384x384 的 ImageNet 1k 数据集上预训练
vit_large_patch16_224_imagenet - 303.30M ViT-L16 模型，在图像分辨率为 224x224 的 ImageNet 1k 数据集上预训练
vit_large_patch16_224_imagenet21k - 303.30M ViT-L16 骨干网络，在图像分辨率为 224x224 的 ImageNet 21k 数据集上预训练
vit_large_patch16_384_imagenet - 303.69M ViT-L16 模型，在图像分辨率为 384x384 的 ImageNet 1k 数据集上预训练
vit_large_patch32_224_imagenet21k - 305.51M ViT-L32 骨干网络，在图像分辨率为 224x224 的 ImageNet 21k 数据集上预训练
vit_large_patch32_384_imagenet - 305.61M ViT-L32 模型，在图像分辨率为 384x384 的 ImageNet 1k 数据集上预训练
vit_huge_patch14_224_imagenet21k - 630.76M ViT-H14 骨干网络，在图像分辨率为 224x224 的 ImageNet 21k 数据集上预训练
whisper_tiny_en Whisper 37.18M 4 层 Whisper 模型。在 438,000 小时的标记英语语音数据上训练。
whisper_tiny_multi Whisper 37.76M 4 层 Whisper 模型。在 680,000 小时的标记多语言语音数据上训练。
whisper_base_multi Whisper 72.59M 6 层 Whisper 模型。在 680,000 小时的标记多语言语音数据上训练。
whisper_base_en Whisper 124.44M 6 层 Whisper 模型。在 438,000 小时的标记英语语音数据上训练。
whisper_small_en Whisper 241.73M 12 层 Whisper 模型。在 438,000 小时的标记英语语音数据上训练。
whisper_small_multi Whisper 241.73M 12 层 Whisper 模型。在 680,000 小时的标记多语言语音数据上训练。
whisper_medium_en Whisper 763.86M 24 层 Whisper 模型。在 438,000 小时的标记英语语音数据上训练。
whisper_medium_multi Whisper 763.86M 24 层 Whisper 模型。在 680,000 小时的标记多语言语音数据上训练。
whisper_large_multi Whisper 1.54B 32 层 Whisper 模型。在 680,000 小时的标记多语言语音数据上训练。
whisper_large_multi_v2 Whisper 1.54B 32 层 Whisper 模型。在 680,000 小时的标记多语言语音数据上训练了 2.5 个 epoch。是 whisper_large_multi 的改进版本。
xlm_roberta_base_multi XLMRoberta 277.45M 12 层 XLM-RoBERTa 模型，保持大小写。在 100 种语言的 CommonCrawl 上训练。
xlm_roberta_large_multi XLMRoberta 558.84M 24 层 XLM-RoBERTa 模型，保持大小写。在 100 种语言的 CommonCrawl 上训练。