-
0 votesanswersviews
使用python joblib调用并行类函数
可以使用joblib在python中对函数进行多次调用 . from joblib import Parallel, delayed def normal(x): print "Normal", x return x**2 if __name__ == '__main__': results = Parallel(n_jobs=2)(delay... -
1 votesanswersviews
Sklearn MLPRegressor中的RandomGridSearchCV出错
我在互联网上发现了类似的问题,但略有不同,没有一个解决方案适合我 . 我有一组解释变量X(2085,12)和一个解释变量y(2085,1),我必须做一些事情,包括使用这些sklearn类(作为 Headers ) . 为了获得正确的超参数,我已按如下方式安排了代码: #solver: sgd mlpsgd = MLPRegressor(max_iter = 1000, solver='sgd') ... -
0 votesanswersviews
使用Numpy和Joblib在Python中进行并行化
我想从MATLAB转向开源替代品,如scipy和numpy . 但是,我的速度有些问题 . 我知道,由于过度使用,有时多核操作可能比单核慢,但是,我试图做一个实际上由MATLAB加速的过程 . 我有一个函数,可以对2D矩阵的每个像素进行一些数学运算 . 我使用3个嵌套循环来做到这一点 . def reconstruct2D(frame, parameters): ""&... -
2 votesanswersviews
加载并预测新数据sklearn
我训练了Logistic模型,交叉验证并使用joblib模块将其保存到文件中 . 现在我想加载这个模型并用它预测新数据 . 这是正确的方法吗?特别是标准化 . 我也应该在我的新数据上使用scaler.fit()吗?在我接下来的教程中,scaler.fit仅用于训练集,所以我在这里有点迷失 . 这是我的代码: #Loading the saved model with joblib model = ... -
2 votesanswersviews
scikit-learn ExtraTreesClassifier - 为什么pickle文件如此庞大? (几GB)
使用python scikit-learn,我将“极度随机树”分类器(ExtraTreesClassifier)拟合到100个特征的~900K样本数组(实数值float64) . 然后我试着腌它 . 我用以下方法实例化了classsifier: cls = ExtraTreesClassifier(n_estimators = 10,random_state = 0,n_jobs = -1) ... -
1 votesanswersviews
python多处理和joblib参数传递
当涉及全局numpy数组时,我对Python多处理有一些困惑 . 考虑以下玩具示例,传递的参数是一个整数,表示要求和的行 . 我的问题是: 每个处理器/工作者都有x的副本吗? 如果我传递实际行,性能如何变化,例如, pool.apply_async(sum, (x[i],)) 并相应地更改函数sum() . 我的理解是传递的参数是numpy数组的视图,因此它不应该影响非并行程序中的任何内容... -
0 votesanswersviews
Joblib错误:TypeError:无法pickle _thread.lock对象
我无法使用我的函数运行joblib,该函数采用numpy数组,训练有素的Keras模型列表和字符串列表作为参数 . 我尝试将参数创建为namedtuple甚至是具有不可变属性的类 . 有任何想法吗 ? Params = collections.namedtuple('Params',['inputs','y_list','trained_models']) p = Params(inputs, y... -
0 votesanswersviews
内存泄漏使用numpy linalg并行
我有以下代码在矩阵U的每一行上运行最小二乘法 . import numpy as np from numpy.linalg import norm,lstsq from sklearn.externals.joblib import Parallel,delayed k = 25 max_iter = 50 lmbda = 1e-3 R = np.random.randint(0,2,(1500,...