首页 文章

最快的方式访问和放置矩阵中的值

提问于
浏览 次
5

我写了一个程序，并一直在分析它 . 瓶颈如下（如果我使用稀疏矩阵）：

26534    0.775    0.000   66.657    0.003 compressed.py:638(__setitem__)
  26534    2.240    0.000   59.438    0.002 compressed.py:688(_set_many)
  13318    2.993    0.000   50.024    0.004 compressed.py:742(_insert_many)
3034231   23.087    0.000   38.101    0.000 defmatrix.py:312(__getitem__)

如果我使用密集矩阵，那么这些操作很慢（必须将init矩阵设为零）

3034072   24.902    0.000   41.135    0.000 defmatrix.py:312(__getitem__)
  11780   19.586    0.002   19.586    0.002 {numpy.core.multiarray.zeros}

稀疏矩阵版本更快（193秒对178秒） . 但检索和放入行显然是我的瓶颈 . 我尝试使用 take 函数，我使用 range() 创建一个包含行索引的数组 . 然而，这比我目前所做的要差得多（比10000倍），对于矩阵X， X[idx,:] 用于放置和 X.getrow(idx).todense() 用于拍摄 .

有没有更好的方法来访问和替换这些行？我的矩阵非常大（~100000行20-500 cols） .

编辑：我正在使用csr_matrix（但对任何类型的稀疏矩阵开放 - 这个似乎适合抓取行） . 以下是一系列测试，只是为了给出一个MWE . 速度约为3E-4s，7E-3s，.1s . 这对我来说是令人惊讶的，我想知道是否有一种比顶级方法更快的方法 . 如果我删除todense（）调用稀疏时间减少一半 - 但这似乎仍然很慢 .

import numpy as np
from time import time
from scipy.sparse import csr_matrix

def testFancy(mat,idxs):
    for i in idxs:
        x = mat[i,:]

def testTake(mat,idxs):
    for i in idxs:
        x = mat.take(range(i*50,i*50+50))

def testSparse(mat,idxs):
    for i in idxs:
        x = mat.getrow(i).todense()

mat = np.random.rand(50000,50)
idxs = np.random.randint(50000-1, size=1000)

#fancy
t0 = time()
testFancy(mat,idxs)
t1 = time()
print str(t1-t0)

#take
t0 = time()
testTake(mat,idxs)
t1 = time()
print str(t1-t0)

#sparse
mat = csr_matrix((50000,50))
t0 = time()
testSparse(mat,idxs)
t1 = time()
print str(t1-t0)
python numpy scipy sparse-matrix

2 回答

  • 1

    只需使用花哨的索引，用于获取和设置数组中的行，

    import numpy as np
from scipy.sparse import csr_matrix

mat_ds = np.random.rand(50000,50)
mat_csr = csr_matrix((50000,50))
mat_lil = mat_csr.tolil()

idxs = np.random.randint(50000-1, size=1000)

print(mat_sp[idxs, :].todense())
print(mat_csr[idxs, :])

mat_sp[idxs, :] = 2.0 # or any other expression that makes sens here
mat_csr[idxs, :] = 2.0

    数组是否稀疏无关紧要 . 这将比任何带循环的自定义解决方案更快（在我的情况下比 testSparse 快〜250倍） .

    当然，稀疏数组的赋值应该以保留稀疏性的方式完成，否则它将被重新分配，这对于 csr_matrix 来说代价很高 . 例如，上面的例子，因为它产生一个警告 .

    Edit ：回应评论 . 我们考虑只查询一行，

    In [1]: %timeit -n 1 mat_csr[0, :].todense()
1 loops, best of 3: 101 µs per loop

In [2]: %timeit -n 1 mat_lil[0, :].todense()
1 loops, best of 3: 157 µs per loop

In [3]: %timeit -n 1 mat_ds[0, :]
The slowest run took 8.25 times longer than the fastest. This could mean that an intermediate result is being cached 
1 loops, best of 3: 954 ns per loop

    所以是的，查询密集数组，比稀疏数组快10到100倍，结果转换为密集（无论你使用csr还是lil数组），因为开销较少 . 没有什么可以做的，你只需要选择是否需要稀疏数组 .

    回复于
  • 0

    我尝试使用dok_mat：rix . 我测试的结果是0.03s，整个应用程序是66s：

    3034124   11.833    0.000   20.293    0.000 defmatrix.py:312(__getitem__)

    这似乎是一个很好的妥协 - 但我不知道它是否会更好 .

    回复于

相关问题