► Keras 3 API 文档 / KerasNLP
KerasNLP
KerasNLP 是一个模块化构建块的工具箱，涵盖了从预训练的最新模型到低级的 Transformer 编码器层。有关库的介绍，请参阅KerasNLP 主页。有关 API 的高级介绍，请参阅我们的入门指南。
预训练模型
- Albert
- Bart
- Bert
- Bloom
- DebertaV3
- DistilBert
- Gemma
- Electra
- Falcon
- FNet
- GPT2
- Llama
- Llama3
- Mistral
- OPT
- PaliGemma
- Phi3
- Roberta
- XLMRoberta
模型 API
- 骨干网络
- 任务
- 预处理器
- 因果语言模型 (CausalLM)
- 因果语言模型预处理器 (CausalLMPreprocessor)
- 序列到序列语言模型 (Seq2SeqLM)
- 序列到序列语言模型预处理器 (Seq2SeqLMPreprocessor)
- 文本分类器 (TextClassifier)
- 文本分类器预处理器 (TextClassifierPreprocessor)
- 掩码语言模型 (MaskedLM)
- 掩码语言模型预处理器 (MaskedLMPreprocessor)
- upload_preset
分词器
- 分词器 (Tokenizer)
- WordPiece 分词器 (WordPieceTokenizer)
- SentencePiece 分词器 (SentencePieceTokenizer)
- 字节对分词器 (BytePairTokenizer)
- 字节分词器 (ByteTokenizer)
- Unicode 代码点分词器 (UnicodeCodepointTokenizer)
- compute_word_piece_vocabulary 函数
- compute_sentence_piece_proto 函数
预处理层
建模层
- TransformerEncoder 层
- TransformerDecoder 层
- FNetEncoder 层
- 位置嵌入层 (PositionEmbedding)
- 旋转嵌入层 (RotaryEmbedding)
- 正弦位置编码层 (SinePositionEncoding)
- 可逆嵌入层 (ReversibleEmbedding)
- 令牌和位置嵌入层 (TokenAndPositionEmbedding)
- AlibiBias 层
- MaskedLMHead 层
- CachedMultiHeadAttention 层
采样器
- 采样器基类
- BeamSampler
- 对比采样器 (ContrastiveSampler)
- 贪婪采样器 (GreedySampler)
- 随机采样器 (RandomSampler)
- TopKSampler
- TopPSampler