SentencePieceTokenizer
SentencePieceTokenizer 类
keras_hub.tokenizers.SentencePieceTokenizer(
proto=None,
sequence_length=None,
dtype="int32",
add_bos=False,
add_eos=False,
**kwargs
)
SentencePiece 分词器层。
该层提供了 SentencePiece 分词的实现，如 SentencePiece 论文 和 SentencePiece 包 中所述。分词将完全在 Tensorflow 图中运行，并且可以保存在 keras.Model 中。
默认情况下，该层将输出一个 tf.RaggedTensor，其中输出的最后一个维度在空格分割和子词分词后是不规则的。如果设置了 sequence_length，该层将输出一个密集的 tf.Tensor，其中所有输入都已填充或截断为 sequence_length。输出 dtype 可以通过 dtype 参数控制，该参数应为整数或字符串类型。
参数
- proto：SentencePiece proto 文件的
string路径，或包含序列化 SentencePiece proto 的bytes对象。有关格式的更多详细信息，请参阅 SentencePiece 仓库。 - sequence_length：如果设置，输出将转换为密集张量，并进行填充/修剪，以便所有输出都具有
sequence_length。 - add_bos：将句子开头标记添加到结果中。
- add_eos：将句子结尾标记添加到结果中。如果输出长度超过指定的
sequence_length，则始终会截断标记。
参考文献
示例
来自字节。
def train_sentence_piece_bytes(ds, size):
bytes_io = io.BytesIO()
sentencepiece.SentencePieceTrainer.train(
sentence_iterator=ds.as_numpy_iterator(),
model_writer=bytes_io,
vocab_size=size,
)
return bytes_io.getvalue()
# Train a sentencepiece proto.
ds = tf.data.Dataset.from_tensor_slices(["the quick brown fox."])
proto = train_sentence_piece_bytes(ds, 20)
# Tokenize inputs.
tokenizer = keras_hub.tokenizers.SentencePieceTokenizer(proto=proto)
ds = ds.map(tokenizer)
来自文件。
def train_sentence_piece_file(ds, path, size):
with open(path, "wb") as model_file:
sentencepiece.SentencePieceTrainer.train(
sentence_iterator=ds.as_numpy_iterator(),
model_writer=model_file,
vocab_size=size,
)
# Train a sentencepiece proto.
ds = tf.data.Dataset.from_tensor_slices(["the quick brown fox."])
proto = train_sentence_piece_file(ds, "model.spm", 20)
# Tokenize inputs.
tokenizer = keras_hub.tokenizers.SentencePieceTokenizer(proto="model.spm")
ds = ds.map(tokenizer)
tokenize 方法
SentencePieceTokenizer.tokenize(inputs)
将字符串的输入张量转换为输出标记。
参数
- inputs：输入张量，或输入张量的字典/列表/元组。
- *args：其他位置参数。
- **kwargs：其他关键字参数。
detokenize 方法
SentencePieceTokenizer.detokenize(inputs)
将标记转换回字符串。
参数
- inputs：输入张量，或输入张量的字典/列表/元组。
- *args：其他位置参数。
- **kwargs：其他关键字参数。
get_vocabulary 方法
SentencePieceTokenizer.get_vocabulary()
获取分词器词汇表。
vocabulary_size 方法
SentencePieceTokenizer.vocabulary_size()
获取分词器词汇表的整数大小。
token_to_id 方法
SentencePieceTokenizer.token_to_id(token)
将字符串标记转换为整数 id。
id_to_token 方法
SentencePieceTokenizer.id_to_token(id)
将整数 id 转换为字符串标记。