我正在尝试在 pyspark 中的 SGD 模型上执行交叉验证,我正在使用pyspark.mllib.regression
,ParamGridBuilder
和CrossValidator
都来自pyspark.ml.tuning
库的LinearRegressionWithSGD
。
在 Spark 网站上跟踪文件资料之后,我希望运行此方法可以正常工作
lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])
paramGrid = ParamGridBuilder()\
.addGrid(lr.stepSize, Array(0.1, 0.01))\
.build()
crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid,
evaluator=RegressionEvaluator(),
numFolds=10)
但是LinearRegressionWithSGD()
没有属性stepSize
(也没有运气尝试过其他人)。
我可以将 lr 设置为LinearRegression
,但是我无法在模型中使用 SGD 并进行交叉验证。
斯卡拉中有kFold
方法,但我不确定如何从 pyspark 访问该方法
1 回答
您可以使用具有 SGD 的线性回归中的 step 参数来定义步长,但是由于您正在混合使用不兼容的库,因此这将使代码无法正常工作。不幸的是,我不知道如何使用 SGD 优化对 ml 库进行交叉验证,我想知道自己,但是您正在混合使用pyspark.ml和pyspark.mllib库。具体来说,您不能将具有 SGD 的线性回归与 pyspark.ml 库一起使用。您必须使用pyspark.ml.regression.LinearRegression。
好消息是您可以将pyspark.ml.regression.LinearRegression的 setsolver 属性设置为使用'gd'。因此,您可能可以将'gd'优化器的参数设置为以 SGD 运行,但是我不确定求解器文档在哪里或如何设置求解器属性(e.g. 批处理大小)。 api显示了调用 Param()的 LinearRegression 对象,但是我不确定它是否使用 pyspark.mllib 优化器。如果有人知道如何设置求解器属性,则可以通过允许您将 Pipeline,ParamGridBuilder 和 CrossValidation ml 软件包用于 LinearRegression 进行模型选择,从而利用 SGD 优化进行参数调整,从而回答您的问题。
谢恩,谢恩