分词器将原始字符串输入转换为适合 Keras Embedding 层的整数输入。它们也可以将预测的整数序列转换回原始字符串输出。
Embedding
所有分词器都是 keras_hub.tokenizers.Tokenizer 的子类，后者又是 keras.layers.Layer 的子类。分词器通常应该在训练时应用于 tf.data.Dataset.map 中，并在推理时包含在 keras.Model 中。
keras_hub.tokenizers.Tokenizer
keras.layers.Layer
keras.Model