► KerasHub：预训练模型 / API 文档 / 分词器 / ByteTokenizer

ByteTokenizer

`ByteTokenizer` 类

keras_hub.tokenizers.ByteTokenizer(
    lowercase=True,
    sequence_length=None,
    normalization_form=None,
    errors="replace",
    replacement_char=65533,
    dtype="int32",
    **kwargs
)

原始字节分词器。

此分词器是一个无词表分词器，它将文本标记为 [0, 256) 范围内的原始字节。

分词器输出可以通过 sequence_length 参数进行填充和截断，或者不进行截断。具体输出取决于输入张量的维度。

如果输入是字符串批次：默认情况下，该层将输出一个 tf.RaggedTensor，其最后一维是 ragged 的。如果设置了 sequence_length，该层将输出一个密集 tf.Tensor，其中所有输入都已被填充或截断到 sequence_length。

如果输入是标量字符串：这里有两种情况。如果设置了 sequence_length，输出将是一个形状为 [sequence_length] 的密集 tf.Tensor。否则，输出将是一个形状为 [None] 的密集 tf.Tensor。

可以通过 dtype 参数控制输出的数据类型，该参数应为整数类型（例如 "int16", "int32"）。

参数

lowercase: 布尔值。如果为 True，则在分词前将输入文本转换为小写。
sequence_length: 整数。如果设置，输出将被转换为密集张量，并进行填充/裁剪，使所有输出的长度都为 sequence_length。
normalization_form: 字符串。以下值之一：(None, "NFC", "NFKC", "NFD", "NFKD")。如果设置，输入张量文本中的每个 UTF-8 字符串将在分词前被标准化为给定的形式。
errors: 以下值之一：('replace', 'remove', 'strict')。指定在遇到无效分词器时的 detokenize() 行为。值为 'strict' 将导致操作在任何无效输入格式上生成 InvalidArgument 错误。值为 'replace' 将导致分词器将输入中的任何无效格式替换为 replacement_char 码点。值为 'ignore' 将导致分词器跳过输入中的任何无效格式，并且不产生相应的输出字符。
replacement_char: 整数。当遇到无效字节序列且 errors 设置为 "replace" 时使用的替换字符（与 https://tensorflowcn.cn/api_docs/python/tf/strings/unicode_transcode 的行为相同）。(U+FFFD) 是 65533。默认为 65533。

示例

基本用法。

>>> tokenizer = keras_hub.tokenizers.ByteTokenizer()
>>> outputs = tokenizer("hello")
>>> np.array(outputs)
array([104, 101, 108, 108, 111], dtype=int32)

Ragged 输出。

>>> inputs = ["hello", "hi"]
>>> tokenizer = keras_hub.tokenizers.ByteTokenizer()
>>> seq1, seq2 = tokenizer(inputs)
>>> np.array(seq1)
array([104, 101, 108, 108, 111])
>>> np.array(seq2)
array([104, 105])

密集输出。

>>> inputs = ["hello", "hi"]
>>> tokenizer = keras_hub.tokenizers.ByteTokenizer(sequence_length=8)
>>> seq1, seq2 = tokenizer(inputs)
>>> np.array(seq1)
array([104, 101, 108, 108, 111,   0,   0,   0], dtype=int32)
>>> np.array(seq2)
array([104, 105,   0,   0,   0,   0,   0,   0], dtype=int32)

先分词，后批处理得到 Ragged 输出。

>>> tokenizer = keras_hub.tokenizers.ByteTokenizer()
>>> ds = tf.data.Dataset.from_tensor_slices(["hello", "fun"])
>>> ds = ds.map(tokenizer)
>>> ds = ds.apply(tf.data.experimental.dense_to_ragged_batch(2))
>>> ds.take(1).get_single_element()
<tf.RaggedTensor [[104, 101, 108, 108, 111], [102, 117, 110]]>

先批处理，后分词得到 Ragged 输出。

>>> tokenizer = keras_hub.tokenizers.ByteTokenizer()
>>> ds = tf.data.Dataset.from_tensor_slices(["hello", "fun"])
>>> ds = ds.batch(2).map(tokenizer)
>>> ds.take(1).get_single_element()
<tf.RaggedTensor [[104, 101, 108, 108, 111], [102, 117, 110]]>

先分词，后批处理得到密集输出（提供了 sequence_length）。

>>> tokenizer = keras_hub.tokenizers.ByteTokenizer(sequence_length=5)
>>> ds = tf.data.Dataset.from_tensor_slices(["hello", "fun"])
>>> ds = ds.map(tokenizer)
>>> ds = ds.apply(tf.data.experimental.dense_to_ragged_batch(2))
>>> ds.take(1).get_single_element()
<tf.Tensor: shape=(2, 5), dtype=int32, numpy=
array([[104, 101, 108, 108, 111],
       [102, 117, 110,   0,   0]], dtype=int32)>

先批处理，后分词得到密集输出（提供了 sequence_length）。

>>> tokenizer = keras_hub.tokenizers.ByteTokenizer(sequence_length=5)
>>> ds = tf.data.Dataset.from_tensor_slices(["hello", "fun"])
>>> ds = ds.batch(2).map(tokenizer)
>>> ds.take(1).get_single_element()
<tf.Tensor: shape=(2, 5), dtype=int32, numpy=
array([[104, 101, 108, 108, 111],
       [102, 117, 110,   0,   0]], dtype=int32)>

反分词。

>>> inputs = [104, 101, 108, 108, 111]
>>> tokenizer = keras_hub.tokenizers.ByteTokenizer()
>>> tokenizer.detokenize(inputs)
'hello'

包含无效字节的反分词。

>>> # The 255 below is invalid utf-8.
>>> inputs = [104, 101, 255, 108, 108, 111]
>>> tokenizer = keras_hub.tokenizers.ByteTokenizer(
...     errors="replace", replacement_char=88)
>>> tokenizer.detokenize(inputs)
'heXllo'