首页 文章

使用PCA进行文本分类的降维

提问于
浏览 次
1

我正在做文件的文本分类，我有大约4k类和110万个数据样本 .

我正在构建矩阵，其中包含每个文档中的单词频率 . 矩阵样本如下所示

X1     X2     X3        X4 
D1          1      1       0        1
D2          1      1       1        0
D3          1      1       0        0
D4          1      1       1        1
D5          0      0       1        0
D6          0      0       1        1

在上面的矩阵中，X1和X2是冗余特征，因为它们在所有行中具有相同的值 .

首先，当我从110万个数据构建矩阵时，我将获得具有90k特征的巨大矩阵 .

为了减少矩阵维数，我正在使用降维技术PCA我使用TruncatedSVD来计算PCA，因为我正在使用稀疏矩阵 .

我正在使用Sckit使用以下代码学习PCA的实现

from sklearn.decomposition import TruncatedSVD
X = [[1,1,0,1], [1,1,1,0], [1,1,0,0],[1,1,1,1],[0,0,1,0],[0,0,1,1]]
svd = TruncatedSVD(n_components=3)
svd.fit(X)  
X_new=svd.fit_transform(X)

X_new的输出是

array([[ 1.53489494, -0.49612748, -0.63083679],
   [ 1.57928583, -0.04762643,  0.70963934],
   [ 1.13759356, -0.80736818,  0.2324597 ],
   [ 1.97658721,  0.26361427, -0.15365716],
   [ 0.44169227,  0.75974175,  0.47717963],
   [ 0.83899365,  1.07098246, -0.38611686]])

这是我得到的缩小尺寸，我将X_new作为Naive Bayes分类器的输入 .

clf = GaussianNB()
model=clf.fit(X_new, Y)

对于110万个样本，我得到了以下输出：

No_of_components
(“n_components” parameter)           accuracy
   1000                                6.57%
   500                                 7.25%
   100                                 5.72%

我的准确度很低，

以上步骤是否正确？

我需要进一步包含哪些内容？

python python-2.7 scikit-learn pca naivebayes

1 回答

  • 2

    精度很低，因为 you lose most information during dimensionality rediction .

    您可以使用 sum(svd.explained_variance_ratio_ ) 进行检查 . 此数字（如 R^2 ）测量模型的精度：如果所有信息都由SVD保留，则等于1;如果未保留任何信息，则等于0 . 在你的情况下（3个90K特征的尺寸）我预计它是0.1％的订单 .

    对于你的问题，我会推荐两种策略中的一种 .

    1 . 不要以数学方式减小尺寸 . 相反，要对语言进行语言预处理：删除停止词，将词干或词汇化为其余词，然后删除少于 k 次的词 . 它会将您的维度从90K带到15K，而不会造成严重的信息丢失 .

    在这些功能上，您可以训练稀疏模型（如 SGDClassifier ，具有巨大的L1惩罚），这可以将实际使用的功能的数量降低到1K，同样仍具有良好的准确性 . 在进入线性分类器之前，有时可以使用TF-IDF转换字数 .

    2 . 使用预先训练的降维器（如 word2vec 或 fastText ）从文本中提取要素 . 在因特网中存在预训练的word2vec模型，用于多种语言和若干维度（如200,1000等） .

    回复于

相关问题