StartEndPacker 层
StartEndPacker 类
keras_hub.layers.StartEndPacker(
sequence_length,
start_value=None,
end_value=None,
pad_value=None,
return_padding_mask=False,
name=None,
**kwargs
)
在序列中添加起始和结束标记，并填充到固定长度。
此层在对翻译等任务的输入进行分词时很有用，其中每个序列应包含一个起始和结束标记。它应该在分词后调用。该层将首先修剪输入以适合，然后添加起始/结束标记，最后，如果需要，填充到 sequence_length。
输入数据应作为张量、tf.RaggedTensor 或列表传递。对于批处理输入，输入应为列表列表或秩为二的张量。对于非批处理输入，每个元素应为列表或秩为一的张量。
参数
- sequence_length: int。所需的输出长度。
- start_value: int/str/list/tuple。要放置在每个序列开头的 ID(s) 或 token(s)。数据类型必须与层输入张量的类型匹配。如果为
None，则不会添加起始值。 - end_value: int/str/list/tuple。要放置在每个输入片段末尾的 ID(s) 或 token(s)。数据类型必须与层输入张量的类型匹配。如果为
None，则不会添加结束值。 - pad_value: int/str。要放置在序列中最后一个片段之后的未使用位置的 ID 或 token。如果为
None，则将根据输入张量的类型添加 0 或 ""。 - return_padding_mask: bool。是否返回一个布尔型填充掩码，其中包含用
pad_value填充的所有位置。
调用参数
- inputs:
tf.Tensor、tf.RaggedTensor或 Python 字符串列表。 - sequence_length: 传递以覆盖层的配置
sequence_length。 - add_start_value: 传递
False以不为该输入追加起始值。 - add_end_value: 传递
False以不为该输入追加结束值。
示例
非批处理输入（int）。
>>> inputs = [5, 6, 7]
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=7, start_value=1, end_value=2,
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs)
array([1, 5, 6, 7, 2, 0, 0], dtype=int32)
批处理输入（int）。
>>> inputs = [[5, 6, 7], [8, 9, 10, 11, 12, 13, 14]]
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value=1, end_value=2,
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs)
array([[ 1, 5, 6, 7, 2, 0],
[ 1, 8, 9, 10, 11, 2]], dtype=int32)
非批处理输入（str）。
>>> inputs = tf.constant(["this", "is", "fun"])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value="<s>", end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array(['<s>', 'this', 'is', 'fun', '</s>', '<pad>'], dtype='<U5')
批处理输入（str）。
>>> inputs = tf.ragged.constant([["this", "is", "fun"], ["awesome"]])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value="<s>", end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array([['<s>', 'this', 'is', 'fun', '</s>', '<pad>'],
['<s>', 'awesome', '</s>', '<pad>', '<pad>', '<pad>']], dtype='<U7')
多个起始标记。
>>> inputs = tf.ragged.constant([["this", "is", "fun"], ["awesome"]])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value=["</s>", "<s>"], end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array([['</s>', '<s>', 'this', 'is', 'fun', '</s>'],
['</s>', '<s>', 'awesome', '</s>', '<pad>', '<pad>']], dtype='<U7')