► KerasHub：预训练模型 / API文档 / 分词器 / BytePairTokenizer

BytePairTokenizer

`BytePairTokenizer` 类

keras_hub.tokenizers.BytePairTokenizer(
    vocabulary=None,
    merges=None,
    sequence_length=None,
    add_prefix_space=False,
    unsplittable_tokens=None,
    dtype="int32",
    **kwargs
)

字节对编码分词器层。

此BPE分词器提供与官方GPT-2分词器相同的功能。给定相同的vocabulary（将token映射到id）和merges（描述BPE合并规则），它应该与OpenAI的实现（https://github.com/openai/gpt-2/blob/master/src/encoder.py）提供相同的结果。与OpenAI不同的是，此实现兼容图计算，因此您可以在tf.data管道中使用它。

如果输入是字符串批次（秩>0）：默认情况下，该层将输出一个tf.RaggedTensor，其中输出的最后一个维度是不规则的。如果设置了sequence_length，该层将输出一个密集tf.Tensor，其中所有输入都已填充或截断到sequence_length。如果输入是标量字符串（秩==0）：默认情况下，该层将输出一个静态形状为[None]的密集tf.Tensor。如果设置了sequence_length，输出将是一个形状为[sequence_length]的密集tf.Tensor。

参数

vocabulary: 字符串或字典，将词元映射到整数 ID。如果是字符串，则应为 json 文件的路径。
merges：字符串或列表，包含合并规则。如果它是字符串，则应为合并规则的文件路径。合并规则文件应每行包含一个合并规则。
sequence_length：整型。如果设置，输出将被填充或截断到sequence_length。默认为None。
add_prefix_space：布尔值。是否在输入前添加一个空格。此分词器对空格敏感，并且会将带前导空格的单词与不带前导空格的单词以不同的方式分词。在第一个单词前添加空格将使其与序列中的所有后续单词进行等效分词。默认为False。
unsplittable_tokens：列表。一个字符串列表，这些字符串在应用于字节对编码之前的单词级分割中永远不会被分割。这可用于确保特殊标记映射到词汇表中唯一的索引，即使这些特殊标记包含可分割的字符（如标点符号）。特殊标记仍必须包含在vocabulary中。默认为None。

示例

分词

>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> outputs = tokenizer("butterfly")
>>> np.array(outputs)
array([1, 2], dtype=int32)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2])
>>> np.array(seq2)
array([1])
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(
...     vocab, merge, sequence_length=2)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2], dtype=int32)
>>> np.array(seq2)
array([1, 0], dtype=int32)

反分词

>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> tokenizer.detokenize([[1, 2]])
['butterfly']