首页 文章

Keras LSTM：时间序列多步骤多特征预测 - 结果不佳

提问于
浏览 次
5

我有一个包含整年数据的时间序列数据集（日期是索引） . 每15分钟（全年）测量数据，这导致每天96个步骤 . 数据已经标准化 . 变量是相关的 . 除VAR之外的所有变量都是天气测量 .

VAR在一天和一周内是季节性的（因为它在周末看起来有点不同，但每个周末更不一样） . VAR值是固定的 . 我想预测接下来两天（前面192步）和未来七天（未来672步）的VAR值 .

以下是数据集的示例：

DateIdx               VAR       dewpt       hum         press       temp
2017-04-17 00:00:00   0.369397  0.155039    0.386792    0.196721    0.238889
2017-04-17 00:15:00   0.363214  0.147287    0.429245    0.196721    0.233333
2017-04-17 00:30:00   0.357032  0.139535    0.471698    0.196721    0.227778
2017-04-17 00:45:00   0.323029  0.127907    0.429245    0.204918    0.219444
2017-04-17 01:00:00   0.347759  0.116279    0.386792    0.213115    0.211111
2017-04-17 01:15:00   0.346213  0.127907    0.476415    0.204918    0.169444
2017-04-17 01:30:00   0.259660  0.139535    0.566038    0.196721    0.127778
2017-04-17 01:45:00   0.205564  0.073643    0.523585    0.172131    0.091667
2017-04-17 02:00:00   0.157650  0.007752    0.481132    0.147541    0.055556
2017-04-17 02:15:00   0.122101  0.003876    0.476415    0.122951    0.091667

Input dataset plot

我决定在Keras使用LSTM . 有了全年的数据，我使用了过去329天的数据作为培训数据，其余的用于培训期间的验证 . train_X - >包含整个措施，包括从329天开始的VAR train_Y - >仅包含329天的VAR . Value 向前移动了一步 . 其余的时间步长转到test_X和test_Y .

这是我准备train_X和train_Y的代码：

#X -> is the whole dataframe
#Y -> is a vector of VAR from whole dataframe, already shifted 1 step ahead

#329 * 96 = 31584
train_X = X[:31584]
train_X = train_X.reshape(train_X.shape[0],1,5)
train_Y = Y[:31584]  
train_Y = train_Y.reshape(train_Y.shape[0],1)

为了预测下一个VAR值，我想使用过去672个时间步（整周测量） . 出于这个原因，我设置了 batch_size=672 ，因此'fit'命令看起来像这样：

history = model.fit(train_X, train_Y, epochs=50, batch_size=672, validation_data=(test_X, test_Y), shuffle=False)

这是我的网络架构：

model = models.Sequential()
model.add(layers.LSTM(672, input_shape=(None, 672), return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(336, return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(168, return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(84, return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(21, return_sequences=False))
model.add(layers.Dense(1))
model.compile(loss='mae', optimizer='adam')
model.summary()

从下面的图中我们可以看到网络在50个时代之后学到了“东西”：

Plot from the learning process

为了预测的目的，我准备了一组数据，其中包含所有值的最后672个步骤和96个没有VAR值的数据 - 这应该被预测 . 我还使用了自回归，因此我在每次预测后更新了VAR并将其用于下一次预测 .

predX数据集（用于预测）如下所示：

print(predX['VAR'][668:677])

DateIdx            VAR
2017-04-23 23:00:00    0.307573
2017-04-23 23:15:00    0.278207
2017-04-23 23:30:00    0.284390
2017-04-23 23:45:00    0.309118
2017-04-24 00:00:00         NaN
2017-04-24 00:15:00         NaN
2017-04-24 00:30:00         NaN
2017-04-24 00:45:00         NaN
2017-04-24 01:00:00         NaN
Name: VAR, dtype: float64

这是我用来预测接下来的96个步骤的代码（自动回归）：

stepsAhead = 96
historySteps = 672

for i in range(0,stepsAhead):
    j = i + historySteps
    ypred = model.predict(predX.values[i:j].reshape(1,historySteps,5))
    predX['VAR'][j] = ypred

不幸的是，结果很差，远远超出预期：

A Plot with predicted data

结果与前一天相结合：

Predicted data combined with a previous day

除了“我做错了什么”这个问题，我想问几个问题：

Q1. 在模型转型期间，我刚刚将整个历史分成672个大小 . 这是对的吗？我该如何组织模型拟合的数据集？我有什么选择？我应该使用“滑动窗口”方法（如链接在这里：https://machinelearningmastery.com/promise-recurrent-neural-networks-time-series-forecasting/）？

Q2. 50个时代是否足够？这里的常见做法是什么？也许网络装备不足导致预测不佳？到目前为止，我尝试了200个具有相同结果的纪元 .

Q3. 我应该尝试不同的架构吗？建议的网络“足够大”来处理这样的数据吗？也许一个“有状态”的网络是正确的方法吗？

Q4. 我是否正确实施了自动回归？是否有任何其他方法可以预测未来的许多步骤，例如像我这样的192或672？

python tensorflow keras time-series lstm

3 回答

  • 3

    看起来对于如何组织数据来训练RNN存在困惑 . 所以我们来讨论这些问题：

    • 一旦有了二维数据集 (total_samples, 5) ，就可以使用TimeseriesGenerator创建一个滑动窗口，为您生成 (batch_size, past_timesteps, 5) . 在这种情况下，您将使用 .fit_generator 来训练网络 .

    • 如果得到相同的结果，50个时期应该没问题 . 您通常会根据网络的性能进行调整 . 但是，如果要比较两种不同的网络架构，则应该保持固定 .

    • 建筑物非常大，因为您的目标是一次预测所有672个未来值 . 您可以设计网络，以便它学会一次预测一个测量 . 在预测时，您可以预测一个点并再次提供该点以预测下一个点，直到您获得672点 .

    • 这与答案3相关联，您可以学习一次预测一个，并将预测链接到训练后的预测数量 .

    单点预测模型可能如下所示：

    model = Sequential()
model.add(LSTM(128, return_sequences=True, input_shape=(past_timesteps, 5))
model.add(LSTM(64))
model.add(Dense(1))
    回复于
  • 3

    1）批次是 not 序列 . 输入 X 是序列 . 输入的形状应为 [None, sequence_length, number_of_features] . 第一轴将由Keras用批次填充 . 但它们不是序列 . 序列在第二轴上 . 第3轴是特征列 . 批量大小 672 可能太大 . 您可以尝试较小的值 128 ， 64 或 32 .

    2）几乎可以确定您的网络是否适合 . 网络中有太多LSTM层 . 我会尝试只有2层LSTM作为@nuric建议，看看它是如何表现的 .

    3）还有似乎对LSTM单位（或LSTM大小）的混淆 . 它不一定是 672 . 事实上， 672 太大了 . 一个很好的起点是 128 .

    4）NN架构正在预测 VAR 的单个值 . 在这种情况下，请确保 Y 对于 X 的每个序列都有一个值 .

    5）或者，您可以使最后一个LSTM输出序列 . 在这种情况下，每个 Y 条目都是向前移动一步的 VAR 序列 . 回到4），确保 Y 具有与 X 和NN架构相对应的正确形状 .

    6）你的情节显示50个时期足以收敛 . 一旦你调整 X ， Y 和NN，做同样的事情来观察时代的数量 .

    7）最后关于日期的想法 . 如果你想在 X 中包含日期，一个想法是将它们一个热门编码为工作日 . 所以你的 X 将是 [dewpt, hum, press, temp, MON, TUE, ..., SAT, SUN] .

    回复于
  • 5

    如其他人所述，您的主要问题是网络规模 . LSTM非常适合学习长期依赖，但它们肯定不是魔术 . 就个人而言，任何具有100次步长的序列都没有取得多大成功 . 你会发现你最终会遇到“爆炸/消失的渐变问题”，因为你的网络太大了 .

    我不会重申其他人所说的关于将数据重新塑造成正确格式的内容，但是一旦你完成了这个，我建议从小（10/15步）开始并预测下一步的结果，并从那里 Build 起来 . 这并不是说你不能最终预测更长的序列和更远的未来，但从小开始将帮助你了解RNN在构建之前的表现 .

    回复于

相关问题