KerasNLP 分词器
分词器将原始字符串输入转换为适合 Keras Embedding 层的整数输入。它们还可以将预测的整数序列转换回原始字符串输出。
所有分词器都是 keras_nlp.tokenizers.Tokenizer 的子类，后者又是 keras.layers.Layer 的子类。分词器通常应在训练期间应用于 tf.data.Dataset.map 内，并且可以在推理期间包含在 keras.Model 内。
分词器
WordPiece 分词器
- WordPiece 分词器类
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
SentencePiece 分词器
- SentencePiece 分词器类
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
BytePair 分词器
- BytePair 分词器类
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法
字节分词器
Unicode 代码点分词器
- Unicode 代码点分词器类
- tokenize 方法
- detokenize 方法
- get_vocabulary 方法
- vocabulary_size 方法
- token_to_id 方法
- id_to_token 方法