Tokenizers 将原始字符串输入转换为适合 Keras Embedding 层的整数输入。它们也可以将预测的整数序列转换回原始字符串输出。
Embedding
所有 tokenizer 都继承自 keras_hub.tokenizers.Tokenizer，而后者又继承自 keras.layers.Layer。Tokenizer 通常应该在训练时应用于 tf.data.Dataset.map 中，并可以在推理时包含在 keras.Model 中。
keras_hub.tokenizers.Tokenizer
keras.layers.Layer
keras.Model