使用scikit-learn中的管道扩展数据：StandardScaler与RobustScaler

我想使用GridSearchCV来确定具有L1正则化的逻辑回归中的最优正则化参数“C” . 我还想扩展/标准化我的输入功能 .

在执行交叉验证之前，使用单个转换缩放整个训练数据集导致数据泄漏：在交叉验证中，训练数据集被划分为k个折叠，每个折叠被视为验证数据集一次，而其他的则是训练折叠 . 但是，如果在整个训练数据集的交叉验证之前完成标准化，则每个折叠（包括验证折叠）将使用从整个训练数据集计算的参数（例如，平均值和标准偏差）进行缩放，所以在某种程度上，训练折叠总是“知道一些”关于验证折叠 .

因此，缩放数据的适当方式是分别计算和应用每个交叉验证折叠的缩放（即，在内部训练折叠上，在每次迭代中保持验证折叠） . 在scikit-learn中，这可以使用管道完成 .

我实现了一个测试用例，以查看两种方法之间的差异（“不正确的缩放”与“使用管道进行适当的缩放”），并且在使用StandardScaler时，无论方法如何，得到的回归系数都是相同的，我发现这令人惊讶 . 但是，使用RobustScaler时，结果系数不同 .

为什么“流水线”扩展会对RobustScaler产生影响，但对于StandardScaler却没有？

谢谢！

这是我的测试用例：

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import RobustScaler
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.datasets import load_breast_cancer

# Choose between the two scalers:
# scaler = RobustScaler()
scaler = StandardScaler()  

C_values = [0.001, 0.01, 0.05, 0.1, 1., 100.]

cancer = load_breast_cancer()
X, y = cancer.data, cancer.target
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

###########################################
# Version A: Proper scaling with pipeline #
###########################################

param_grid = {'logisticregression__C': C_values}

logReg = LogisticRegression(fit_intercept=True, 
                            penalty='l1', 
                            solver='liblinear', 
                            tol=0.0001, 
                            max_iter=1000, 
                            random_state=0)

# Create a pipeline that scales, then runs logistic regression
pipeline = make_pipeline(scaler, logReg)

vA = GridSearchCV(pipeline, param_grid=param_grid,
                     scoring='roc_auc', cv=10, refit=True)
vA.fit(X_train, y_train)

# Get coefficients
coefA = vA.best_estimator_.named_steps['logisticregression'].coef_

###############################
# Version B: Improper scaling #     
###############################

param_grid = {'C': C_values}

X_train_scaled = scaler.fit_transform(X_train)

vB = GridSearchCV(logReg, param_grid=param_grid,
                     scoring='roc_auc', cv=10, refit=True)
vB.fit(X_train_scaled, y_train)

# Get coefficients
coefB = vB.best_estimator_.coef_


# Compare coefficients
# (Assertion will pass for StandardScaler, but 
# fail for RobustScaler)
assert np.array_equal(coefA, coefB)