首页 文章

tfidfvectorizer预测保存的分类器

提问于
浏览 次
2

我使用TfIdfVectorizer和MultinomialNB训练了我的模型，并将其保存到pickle文件中 .

既然我正在尝试使用其他文件中的分类器来预测看不见的数据，我不能这样做，因为它告诉我分类器的特征数量与当前语料库的特征数量不同 .

这是我试图预测的代码 . 函数do_vectorize与训练中使用的完全相同 .

def do_vectorize(data, stop_words=[], tokenizer_fn=tokenize):
    vectorizer = TfidfVectorizer(stop_words=stop_words, tokenizer=tokenizer_fn)
    X = vectorizer.fit_transform(data)
    return X, vectorizer

# Vectorizing the unseen documents 
matrix, vectorizer = do_vectorize(corpus, stop_words=stop_words)

# Predicting on the trained model
clf = pickle.load(open('../data/classifier_0.5_function.pkl', 'rb'))
predictions = clf.predict(matrix)

但是我收到的功能数量不同的错误

ValueError: Expected input with 65264 features, got 472546 instead

这意味着我还必须从训练中保存我的词汇才能进行测试？如果培训中没有条款，会发生什么？

我尝试使用scikit-learn的管道和相同的矢量化器和分类器，以及两者的相同参数 . 但是，它从1小时变为超过6小时太慢，所以我更喜欢手动操作 .

python machine-learning scikit-learn classification prediction

1 回答

  • 2

    这意味着我还必须从训练中保存我的词汇才能进行测试？

    是的，您必须保存 whole tfidf vectorizer ，这尤其意味着节省词汇量 .

    如果培训中没有条款，会发生什么？

    它们将被忽略，这是完全合理的，因为你对此有所了解，因此没有什么可以考虑的（有更复杂的方法仍然可以使用它，但它们不使用像tfidf这样简单的方法） .

    我尝试使用scikit-learn的管道和相同的矢量化器和分类器，以及两者的相同参数 . 但是，它从1小时变为超过6小时太慢，所以我更喜欢手动操作 .

    使用管道时应该几乎没有开销，但是只要您记得存储矢量化器，手动操作也很好 .

    回复于

相关问题