KerasHub分词器
分词器将原始字符串输入转换为适合Keras Embedding层的整数输入。它们还可以将预测的整数序列转换回原始字符串输出。
所有分词器都是keras_hub.tokenizers.Tokenizer的子类，后者又是keras.layers.Layer的子类。分词器通常应用于训练的tf.data.Dataset.map中，并且可以在推理的keras.Model中包含。
分词器
WordPiece分词器
- WordPiece分词器类
- tokenize方法
- detokenize方法
- get_vocabulary方法
- vocabulary_size方法
- token_to_id方法
- id_to_token方法
SentencePiece分词器
- SentencePiece分词器类
- tokenize方法
- detokenize方法
- get_vocabulary方法
- vocabulary_size方法
- token_to_id方法
- id_to_token方法
BytePair分词器
字节分词器
Unicode代码点分词器
- Unicode代码点分词器类
- tokenize方法
- detokenize方法
- get_vocabulary方法
- vocabulary_size方法
- token_to_id方法
- id_to_token方法