时间序列数据加载
timeseries_dataset_from_array 函数
keras.utils.timeseries_dataset_from_array(
data,
targets,
sequence_length,
sequence_stride=1,
sampling_rate=1,
batch_size=128,
shuffle=False,
seed=None,
start_index=None,
end_index=None,
)
创建一个滑动窗口数据集，该数据集基于作为数组提供的时间序列。
此函数接收以等间隔收集的数据点序列，以及时间序列参数（如序列/窗口的长度、两个序列/窗口之间的间距等），以生成时间序列输入和目标的批次。
参数
- data: 包含连续数据点（时间步）的 NumPy 数组或 eager 张量。预期轴 0 是时间维度。
- targets: 与
data中时间步对应的目标。targets[i]应对应于从索引i开始的窗口的目标（参见下面的示例 2）。如果您没有目标数据，请传递None（在这种情况下，数据集将只产生输入数据）。 - sequence_length: 输出序列的长度（以时间步数表示）。
- sequence_stride: 连续输出序列之间的间隔。对于步长
s，输出样本将从索引data[i]、data[i + s]、data[i + 2 * s]等开始。 - sampling_rate: 序列中连续单个时间步之间的间隔。对于速率
r，时间步data[i]、data[i + r]、...data[i + sequence_length]用于创建样本序列。 - batch_size: 每个批次中的时间序列样本数量（最后一个批次除外）。如果为
None，则数据将不会进行批次处理（数据集将产生单个样本）。 - shuffle: 是否对输出样本进行洗牌，或者按时间顺序提取样本。
- seed: 可选的整数；用于洗牌的随机种子。
- start_index: 可选的整数；早于
start_index（不包括）的数据点将不会用于输出序列中。这对于保留一部分数据用于测试或验证很有用。 - end_index: 可选的整数；晚于
end_index（不包括）的数据点将不会用于输出序列中。这对于保留一部分数据用于测试或验证很有用。
返回值
一个 tf.data.Dataset 实例。如果传递了 targets，则数据集将生成元组 (batch_of_sequences, batch_of_targets)。如果没有，数据集将只生成 batch_of_sequences。
示例 1
考虑索引 [0, 1, ... 98]。对于 sequence_length=10, sampling_rate=2, sequence_stride=3, shuffle=False，数据集将生成包含以下索引的序列批次
First sequence: [0 2 4 6 8 10 12 14 16 18]
Second sequence: [3 5 7 9 11 13 15 17 19 21]
Third sequence: [6 8 10 12 14 16 18 20 22 24]
...
Last sequence: [78 80 82 84 86 88 90 92 94 96]
在这种情况下，最后 2 个数据点被丢弃，因为无法生成完整的序列来包含它们（下一个序列将从索引 81 开始，因此它的最后一个步骤将超过 98）。
示例 2：时间回归。
考虑一个形状为 (steps,) 的标量值数组 data。要生成一个使用过去 10 个时间步预测下一个时间步的数据集，您将使用
input_data = data[:-10]
targets = data[10:]
dataset = timeseries_dataset_from_array(
input_data, targets, sequence_length=10)
for batch in dataset:
inputs, targets = batch
assert np.array_equal(inputs[0], data[:10]) # First sequence: steps [0-9]
# Corresponding target: step 10
assert np.array_equal(targets[0], data[10])
break
示例 3：多对多架构的时间回归。
考虑两个形状均为 (100,) 的标量值数组 X 和 Y。生成的数据集应包含每个样本具有 20 个时间戳的样本。样本不应重叠。要生成一个使用当前时间戳预测对应目标时间戳的数据集，您将使用
X = np.arange(100)
Y = X*2
sample_length = 20
input_dataset = timeseries_dataset_from_array(
X, None, sequence_length=sample_length, sequence_stride=sample_length)
target_dataset = timeseries_dataset_from_array(
Y, None, sequence_length=sample_length, sequence_stride=sample_length)
for batch in zip(input_dataset, target_dataset):
inputs, targets = batch
assert np.array_equal(inputs[0], X[:sample_length])
# second sample equals output timestamps 20-40
assert np.array_equal(targets[1], Y[sample_length:2*sample_length])
break
pad_sequences 函数
keras.utils.pad_sequences(
sequences, maxlen=None, dtype="int32", padding="pre", truncating="pre", value=0.0
)
将序列填充到相同的长度。
此函数将长度为 num_samples 的序列列表（每个序列都是整数列表）转换为形状为 (num_samples, num_timesteps) 的 2D NumPy 数组。num_timesteps 是提供的 maxlen 参数（如果有），或者列表中最长序列的长度。
短于 num_timesteps 的序列将使用 value 进行填充，直到它们达到 num_timesteps 长度。
长于 num_timesteps 的序列将被截断，以适应所需的长度。
填充或截断的位置由参数 padding 和 truncating 分别决定。默认情况下，在序列的开头进行预填充或删除值。
>>> sequence = [[1], [2, 3], [4, 5, 6]]
>>> keras.utils.pad_sequences(sequence)
array([[0, 0, 1],
[0, 2, 3],
[4, 5, 6]], dtype=int32)
>>> keras.utils.pad_sequences(sequence, value=-1)
array([[-1, -1, 1],
[-1, 2, 3],
[ 4, 5, 6]], dtype=int32)
>>> keras.utils.pad_sequences(sequence, padding='post')
array([[1, 0, 0],
[2, 3, 0],
[4, 5, 6]], dtype=int32)
>>> keras.utils.pad_sequences(sequence, maxlen=2)
array([[0, 1],
[2, 3],
[5, 6]], dtype=int32)
参数
- sequences: 序列列表（每个序列都是整数列表）。
- maxlen: 可选的整数，所有序列的最大长度。如果不提供，序列将被填充到最长单个序列的长度。
- dtype: （可选，默认为
"int32"）。输出序列的类型。要使用可变长度字符串填充序列，可以使用object。 - padding: 字符串，“pre” 或 “post”（可选，默认为
"pre"）：在每个序列之前或之后进行填充。 - truncating: 字符串，“pre” 或 “post”（可选，默认为
"pre"）：从大于maxlen的序列中删除值，在序列的开头或结尾进行删除。 - value: 浮点数或字符串，填充值。（可选，默认为
0.）
返回值
形状为 (len(sequences), maxlen) 的 NumPy 数组