BytePairTokenizer
类keras_hub.tokenizers.BytePairTokenizer(
vocabulary=None,
merges=None,
sequence_length=None,
add_prefix_space=False,
unsplittable_tokens=None,
dtype="int32",
**kwargs
)
字节对编码分词器层。
此 BPE 分词器提供与官方 GPT-2 分词器相同的功能。给定将词元映射到 id 的相同 vocabulary
以及描述 BPE 合并规则的 merges
,它应提供与 OpenAI 实现 (https://github.com/openai/gpt-2/blob/master/src/encoder.py) 相同的输出。与 OpenAI 不同,此实现兼容图结构,因此您可以在 tf.data
流水线中使用它。
如果输入是字符串批次(秩 > 0):默认情况下,层将输出一个 tf.RaggedTensor
,其输出的最后一个维度是不规则的(ragged)。如果设置了 sequence_length
,层将输出一个稠密的 tf.Tensor
,其中所有输入都已填充或截断到 sequence_length
。如果输入是标量字符串(秩 == 0):默认情况下,层将输出一个静态形状为 [None]
的稠密 tf.Tensor
。如果设置了 sequence_length
,输出将是一个形状为 [sequence_length]
的稠密 tf.Tensor
。
参数
sequence_length
。默认为 None
。False
。vocabulary
中。默认为 None
。示例
分词
>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> outputs = tokenizer("butterfly")
>>> np.array(outputs)
array([1, 2], dtype=int32)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2])
>>> np.array(seq2)
array([1])
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(
... vocab, merge, sequence_length=2)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2], dtype=int32)
>>> np.array(seq2)
array([1, 0], dtype=int32)
反分词
>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> tokenizer.detokenize([[1, 2]])
['butterfly']
tokenize
方法BytePairTokenizer.tokenize(inputs)
将输入的字符串张量转换为输出的词元。
参数
detokenize
方法BytePairTokenizer.detokenize(inputs)
将词元转换回字符串。
参数
get_vocabulary
方法BytePairTokenizer.get_vocabulary()
获取分词器词表作为字符串词元列表。
vocabulary_size
方法BytePairTokenizer.vocabulary_size()
获取分词器词表的整数大小。
token_to_id
方法BytePairTokenizer.token_to_id(token)
将字符串词元转换为整数 id。
id_to_token
方法BytePairTokenizer.id_to_token(id)
将整数 id 转换为字符串词元。