在Pipeline上搜索网格后更新变换器参数-Java 学习之路

我有一个简单的管道，用于文本分析和分类，包括CountVectorizer，TfidfTransformer，最后是Multinomial Naive Bayes分类器 .

from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import Pipeline

text_clf = Pipeline([('vect', CountVectorizer()),
                 ('tfidf', TfidfTransformer()),
                 ('clf', MultinomialNB())])

我现在使用GridSearchCV确定最佳参数（stop_words包含先前加载的停用词列表）：

from sklearn.model_selection import GridSearchCV

parameters = {'vect__ngram_range': [(1,1), (1,2), (1,3)],
          'vect__stop_words': [None, stop_words],
          'tfidf__use_idf': [True, False],
          'clf__alpha': np.arange(0.0, 1.05, 0.05)
}

grid_clf = GridSearchCV(text_clf, parameters, n_jobs = 1)
_ = grid_clf.fit(X_train, y_train)

我现在可以使用 grid_clf.best_params_ 查看模型的最佳参数：

{'clf__alpha': 0.050000000000000003,
'tfidf__use_idf': True,
'vect__ngram_range': (1, 3),
'vect__stop_words': None}

我的问题是：如何使用网格搜索返回的最佳参数返回更新的管道？我希望能够使用适当的参数调用管道的前两个步骤（CountVectorizer和TfidfTransformer） .

我发现的一个解决方法是显式创建一个具有网格搜索返回的最佳参数的新管道：

multinomial_clf = Pipeline([('vect', CountVectorizer(stop_words=None, ngram_range=(1,3))),
                 ('tfidf', TfidfTransformer(use_idf = True)),
                 ('clf', MultinomialNB(alpha=0.05))])
_ = multinomial_clf.fit(X_train, y_train)

我现在可以使用 multinomial_clf.steps 访问CountVectorizer和TfidfTransformer，但我相信必须有一个更简单的方法 .

非常感谢你的帮助！

1 回答

可以使用 grid_clf.best_estimator_ 找到具有最佳参数的管道

grid_clf.best_estimator_

Pipeline(steps=[('vect', CountVectorizer(analyzer='word', binary=False, decode_error='strict',
    dtype=<class 'numpy.int64'>, encoding='utf-8', input='content',
    lowercase=True, max_df=1.0, max_features=None, min_df=1,
    ngram_range=(1, 3), preprocessor=None, stop_words=None,
    strip...near_tf=False, use_idf=True)), ('clf', MultinomialNB(alpha=0.02, class_prior=None, fit_prior=True))])

但是我仍然对如何使用管道的变换器进行转换感到困惑 . 前两个步骤实现了转换方法，而最后一步则没有 . 但如果我试着打电话：

grid_clf.best_estimator_.transform(['ok computer'])

我收到以下错误：

AttributeError: 'MultinomialNB' object has no attribute 'transform'

谢谢你的帮助

回复于 2024-04-28T16:30:26+08:00

在Pipeline上搜索网格后更新变换器参数

1 回答

相关问题