首页 文章

通过p值和皮尔逊相关项来评估预测

提问于
浏览
0

我正在使用R对两种不同的预测模型进行一些评估 . 评估的基本思想是使用cor . ()函数比较Pearson相关性和相应的p值 . 下图显示了相关系数的最终结果及其p值 .

enter image description here

我们建议具有较低相关系数和相应较低p值(小于0.05)的模型更好(或者,相关系数更高但具有相当高的相应p值) . 所以,在这种情况下,总的来说,我们会说model1比model2更好 . 但问题是,是否还有其他具体的统计方法来量化比较?

非常感谢 !!!

1 回答

  • 1

    假设您正在寻找的是对您的预测模型进行回溯测试 . 从Ruey S. Tsay的"An Introduction to Analysis of Financial Data with R",您可能想看看他的backtest.R功能 .

    backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
    # m1: is a time-series model object
    # orig: is the starting forecast origin
    # rt: the time series
    # xre: the independent variables
    # h: forecast horizon
    # fixed: parameter constriant
    # inc.mean: flag for constant term of the model.
    

    回测可以让你看到你的模型在过去的数据和Tsay的回测中的表现如何.R提供了RMSE和平均绝对误差,它将为你提供另一个相关之外的视角 . Caution 根据您的数据大小和模型的复杂程度,这可能是一个非常慢的运行测试 .

    要比较模型,您通常会查看 RMSE ,这实际上是模型误差的标准偏差 . 这两个是直接可比的,小一个更好 .

    更好的选择是在构建模型之前设置训练,测试和设置 . 如果您在相同的训练/测试数据上训练两个模型,您可以将它们与您的验证集(您的模型从未见过)进行比较,以更准确地测量您的模型的性能指标 .

    最后一种选择,如果您有与预测不准确相关的“成本”,请将这些成本应用于预测并将其添加 . 如果一个模型在更昂贵的数据段上表现不佳,您可能希望避免使用它 .

    作为旁注,你对p值的解释越少越好,留下一点[期望] quite right .

    P值只解决一个问题:假设一个真正的零假设,你的数据有多大可能性?它没有衡量对替代假设的支持 .

相关问题