字节对编码分词器
BytePairTokenizer 类
keras_hub.tokenizers.BytePairTokenizer(
vocabulary=None,
merges=None,
sequence_length=None,
add_prefix_space=False,
unsplittable_tokens=None,
dtype="int32",
**kwargs
)
字节对编码分词层。
此 BPE 分词器提供与官方 GPT-2 分词器相同的功能。给定相同的 vocabulary（将标记映射到 ID）和 merges（描述 BPE 合并规则），它应该提供与 OpenAI 实现（https://github.com/openai/gpt-2/blob/master/src/encoder.py）相同的输出。与 OpenAI 不同，此实现与图兼容，因此您可以在 tf.data 管道中使用它。
如果输入是字符串批次（秩 > 0）：默认情况下，该层将输出一个 tf.RaggedTensor，其中输出的最后一维是不规则的。如果设置了 sequence_length，则该层将输出一个密集的 tf.Tensor，其中所有输入都已填充或截断为 sequence_length。如果输入是标量字符串（秩 == 0）：默认情况下，该层将输出一个密集的 tf.Tensor，其静态形状为 [None]。如果设置了 sequence_length，则输出将是一个密集的 tf.Tensor，其形状为 [sequence_length]。
参数
- vocabulary: 字符串或字典，将标记映射到整数 ID。如果它是字符串，则应为指向 JSON 文件的文件路径。
- merges: 字符串或列表，包含合并规则。如果它是字符串，则应为指向合并规则的文件路径。合并规则文件应每行包含一个合并规则。
- sequence_length: 整数。如果设置，则输出将填充或截断为
sequence_length。默认为None。 - add_prefix_space: 布尔值。是否在输入前添加一个空格。此分词器是空格感知的，并且会以不同的方式对以空格开头的单词进行分词。在第一个单词前添加前缀空格将导致它与序列中所有后续单词进行等效分词。默认为
False。 - unsplittable_tokens: 列表。一个字符串列表，在应用于字节对编码之前的词级拆分过程中，这些字符串永远不会被拆分。这可用于确保特殊标记映射到词汇表中的唯一索引，即使这些特殊标记包含可拆分的字符（如标点符号）。特殊标记仍必须包含在
vocabulary中。默认为None。
示例
分词
>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> outputs = tokenizer("butterfly")
>>> np.array(outputs)
array([1, 2], dtype=int32)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2])
>>> np.array(seq2)
array([1])
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(
... vocab, merge, sequence_length=2)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2], dtype=int32)
>>> np.array(seq2)
array([1, 0], dtype=int32)
去分词
>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> tokenizer.detokenize([[1, 2]])
['butterfly']
tokenize 方法
BytePairTokenizer.tokenize(inputs)
将输入字符串张量转换为输出标记。
参数
- inputs: 输入张量，或输入张量的字典/列表/元组。
- *args: 其他位置参数。
- **kwargs: 其他关键字参数。
detokenize 方法
BytePairTokenizer.detokenize(inputs)
将标记转换回字符串。
参数
- inputs: 输入张量，或输入张量的字典/列表/元组。
- *args: 其他位置参数。
- **kwargs: 其他关键字参数。
get_vocabulary 方法
BytePairTokenizer.get_vocabulary()
获取分词器词汇表作为字符串标记列表。
vocabulary_size 方法
BytePairTokenizer.vocabulary_size()
获取分词器词汇表的整数大小。
token_to_id 方法
BytePairTokenizer.token_to_id(token)
将字符串标记转换为整数 ID。
id_to_token 方法
BytePairTokenizer.id_to_token(id)
将整数 ID 转换为字符串标记。