我有一个评论数据集,其标签为正/负 . 我正在将Naive Bayes应用于该评论数据集 . 首先,我正在转换成一堆文字 . 这里 sorted_data['Text'] 是评论和 final_counts is a sparse matrix
count_vect = CountVectorizer()
final_counts = count_vect.fit_transform(sorted_data['Text'].values)
我正在将数据拆分为训练和测试数据集 .
X_1, X_test, y_1, y_test = cross_validation.train_test_split(final_counts, labels, test_size=0.3, random_state=0)
我正在应用如下的朴素贝叶斯算法
optimal_alpha = 1
NB_optimal = BernoulliNB(alpha=optimal_aplha)
# fitting the model
NB_optimal.fit(X_tr, y_tr)
# predict the response
pred = NB_optimal.predict(X_test)
# evaluate accuracy
acc = accuracy_score(y_test, pred) * 100
print('\nThe accuracy of the NB classifier for k = %d is %f%%' % (optimal_aplha, acc))
这里X_test是测试数据集,其中pred变量给出了X_test中的向量是正还是负类 .
The X_test shape is (54626 rows, 82343 dimensions)
length of pred is 54626
我的问题是我希望在每个向量中得到概率最高的单词,以便我可以通过单词知道它为什么预测为正或负类 . 因此,如何获得每个向量中概率最高的单词?
2 回答
您可以使用
coefs_
或feature_log_prob_
属性从拟合模型中获取每个单词的重要性 . 例如打印每个 class 的前十个最具预测性的单词 .
试试这个: