假设您正在寻找的是对您的预测模型进行回溯测试 . 从Ruey S. Tsay的"An Introduction to Analysis of Financial Data with R",您可能想看看他的backtest.R功能 .
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
1 回答
假设您正在寻找的是对您的预测模型进行回溯测试 . 从Ruey S. Tsay的"An Introduction to Analysis of Financial Data with R",您可能想看看他的backtest.R功能 .
回测可以让你看到你的模型在过去的数据和Tsay的回测中的表现如何.R提供了RMSE和平均绝对误差,它将为你提供另一个相关之外的视角 . Caution 根据您的数据大小和模型的复杂程度,这可能是一个非常慢的运行测试 .
要比较模型,您通常会查看 RMSE ,这实际上是模型误差的标准偏差 . 这两个是直接可比的,小一个更好 .
更好的选择是在构建模型之前设置训练,测试和设置 . 如果您在相同的训练/测试数据上训练两个模型,您可以将它们与您的验证集(您的模型从未见过)进行比较,以更准确地测量您的模型的性能指标 .
最后一种选择,如果您有与预测不准确相关的“成本”,请将这些成本应用于预测并将其添加 . 如果一个模型在更昂贵的数据段上表现不佳,您可能希望避免使用它 .
作为旁注,你对p值的解释越少越好,留下一点[期望] quite right .