StartEndPacker 层
StartEndPacker 类
keras_hub.layers.StartEndPacker(
sequence_length,
start_value=None,
end_value=None,
pad_value=None,
return_padding_mask=False,
name=None,
**kwargs
)
向序列添加起始和结束标记，并填充到固定长度。
当为翻译等任务标记输入时，此层很有用，其中每个序列都应包括起始和结束标记。它应在分词后调用。该层将首先修剪输入以适应，然后添加起始/结束标记，最后在必要时填充到 sequence_length。
输入数据应作为张量、tf.RaggedTensor 或列表传递。对于批量输入，输入应为列表的列表或秩为 2 的张量。对于非批量输入，每个元素应为列表或秩为 1 的张量。
参数
- sequence_length: int。所需的输出长度。
- start_value: int/str/list/tuple。要放置在每个序列开头的 ID 或标记。dtype 必须与该层输入张量的 dtype 匹配。如果为
None，则不会添加起始值。 - end_value: int/str/list/tuple。要放置在每个输入段末尾的 ID 或标记。dtype 必须与该层输入张量的 dtype 匹配。如果为
None，则不会添加结束值。 - pad_value: int/str。在序列中最后一个段之后未使用的位置填充的 ID 或标记。如果为
None，则将根据输入张量的 dtype 添加 0 或 ""。 - return_padding_mask: bool。是否返回用
pad_value填充的所有位置的布尔填充掩码。
调用参数
- inputs:
tf.Tensor、tf.RaggedTensor或 Python 字符串列表。 - sequence_length: 传递以覆盖该层配置的
sequence_length。 - add_start_value: 传递
False以不为此输入附加起始值。 - add_end_value: 传递
False以不为此输入附加结束值。
示例
非批量输入 (int)。
>>> inputs = [5, 6, 7]
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=7, start_value=1, end_value=2,
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs)
array([1, 5, 6, 7, 2, 0, 0], dtype=int32)
批量输入 (int)。
>>> inputs = [[5, 6, 7], [8, 9, 10, 11, 12, 13, 14]]
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value=1, end_value=2,
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs)
array([[ 1, 5, 6, 7, 2, 0],
[ 1, 8, 9, 10, 11, 2]], dtype=int32)
非批量输入 (str)。
>>> inputs = tf.constant(["this", "is", "fun"])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value="<s>", end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array(['<s>', 'this', 'is', 'fun', '</s>', '<pad>'], dtype='<U5')
批量输入 (str)。
>>> inputs = tf.ragged.constant([["this", "is", "fun"], ["awesome"]])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value="<s>", end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array([['<s>', 'this', 'is', 'fun', '</s>', '<pad>'],
['<s>', 'awesome', '</s>', '<pad>', '<pad>', '<pad>']], dtype='<U7')
多个起始标记。
>>> inputs = tf.ragged.constant([["this", "is", "fun"], ["awesome"]])
>>> start_end_packer = keras_hub.layers.StartEndPacker(
... sequence_length=6, start_value=["</s>", "<s>"], end_value="</s>",
... pad_value="<pad>"
... )
>>> outputs = start_end_packer(inputs)
>>> np.array(outputs).astype("U")
array([['</s>', '<s>', 'this', 'is', 'fun', '</s>'],
['</s>', '<s>', 'awesome', '</s>', '<pad>', '<pad>']], dtype='<U7')