StartEndPacker 层
StartEndPacker 类
keras_hub.layers.StartEndPacker(
sequence_length,
start_value=None,
end_value=None,
pad_value=None,
return_padding_mask=False,
name=None,
**kwargs
)
向序列添加起始和结束标记，并填充到固定长度。
此层在对翻译等任务的输入进行标记时非常有用，其中每个序列都应包含起始和结束标记。它应该在标记化之后调用。该层将首先修剪输入以使其适合，然后添加起始/结束标记，最后根据需要填充到 sequence_length。
输入数据应作为张量、tf.RaggedTensor 或列表传递。对于批处理输入，输入应为列表的列表或秩为 2 的张量。对于非批处理输入，每个元素应为列表或秩为 1 的张量。
参数
- sequence_length：int。所需的输出长度。
- start_value：int/str/list/tuple。要放置在每个序列开头的 ID 或标记。数据类型必须与输入到层的张量的数据类型匹配。如果为
None，则不会添加起始值。 - end_value：int/str/list/tuple。要放置在每个输入段末尾的 ID 或标记。数据类型必须与输入到层的张量的数据类型匹配。如果为
None，则不会添加结束值。 - pad_value：int/str。要放置在序列中最后一个段之后的未使用位置中的 ID 或标记。如果为
None，则根据输入张量的数据类型添加 0 或 ""。 - return_padding_mask：bool。是否返回一个布尔填充掩码，其中包含所有使用
pad_value填充的位置。
调用参数
- inputs：
tf.Tensor、tf.RaggedTensor或 Python 字符串列表。 - sequence_length：传递以覆盖层的配置
sequence_length。 - add_start_value：传递
False以不对此输入追加起始值。 - add_end_value：传递
False以不对此输入追加结束值。
示例
非批处理输入（int）。
>>> inputs = [5, 6, 7]
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=7, start_value=1, end_value=2,
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs)
array([1, 5, 6, 7, 2, 0, 0], dtype=int32)
批处理输入（int）。
>>> inputs = [[5, 6, 7], [8, 9, 10, 11, 12, 13, 14]]
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value=1, end_value=2,
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs)
array([[ 1, 5, 6, 7, 2, 0],
[ 1, 8, 9, 10, 11, 2]], dtype=int32)
非批处理输入（str）。
>>> inputs = tf.constant(["this", "is", "fun"])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value="<s>", end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array(['<s>', 'this', 'is', 'fun', '</s>', '<pad>'], dtype='<U5')
批处理输入（str）。
>>> inputs = tf.ragged.constant([["this", "is", "fun"], ["awesome"]])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value="<s>", end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array([['<s>', 'this', 'is', 'fun', '</s>', '<pad>'],
['<s>', 'awesome', '</s>', '<pad>', '<pad>', '<pad>']], dtype='<U7')
多个起始标记。
>>> inputs = tf.ragged.constant([["this", "is", "fun"], ["awesome"]])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value=["</s>", "<s>"], end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array([['</s>', '<s>', 'this', 'is', 'fun', '</s>'],
['</s>', '<s>', 'awesome', '</s>', '<pad>', '<pad>']], dtype='<U7')