首页 文章
  • 1 votes
     answers
     views

    numpy广播的keras回调错误

    我正在使用keras构建一个密集模型来实现暹罗分类器,并且有一个操作数无法与形状一起广播(16,5)(6,5)(16,5)错误: Traceback (most recent call last): File "D:/prog/COQA/project/classify_question_with_siamese_drei.py", line 122, in <mo...
  • 3 votes
     answers
     views

    Python,OpenCV:增加图像亮度而不会溢出UINT8数组

    我正在尝试增加灰度图像的亮度 . cv2.imread() 返回一个numpy数组 . 我正在为数组的每个元素添加整数值 . 从理论上讲,这会增加每一个 . 之后,我可以将上限阈值设为255,并获得更高亮度的图像 . 这是代码: grey = cv2.imread(path+file,0) print type(grey) print grey[0] new = grey + value...
  • 0 votes
     answers
     views

    具有自定义“丢失”功能的渐变更新

    我正在神经网络上的tensorflow工作,试图最大化两个数据集之间的相关性:http://ttic.uchicago.edu/~klivescu/papers/andrew_icml2013.pdf 我有一个"loss"函数有点复杂,所以我用numpy数组(并称之为corr_func())编写它,以便它可以使用张量运行我使用tf.py_func函数,我尝试更新渐变以与此处所示...
  • 2 votes
     answers
     views

    AttributeError:'module'对象没有属性'Template'

    我在PyCharm环境中使用MacO,我的项目设置为使用Python 2.7.10 . 现在,我的模块的第一行是: import numpy as np 当我尝试运行我的代码时,我收到以下错误: /System/Library/Frameworks/Python.framework/Versions/2.7/bin/python2.7 /{path to file}/numpy_exercise...
  • 41 votes
     answers
     views

    如何通过广播的密集1d数组元素地乘以scipy.sparse矩阵?

    假设我有一个2d稀疏数组 . 在我的实际用例中,行数和列数都要大得多(比如20000和50000),因此在使用密集表示时它无法适应内存: >>> import numpy as np >>> import scipy.sparse as ssp >>> a = ssp.lil_matrix((5, 3)) >>> a[1, ...
  • 6 votes
     answers
     views

    堆叠稀疏和密集的矩阵

    是否可以在python中堆叠稀疏和密集的numpy数组?我知道这可以使用vstack / hstack为密集的numpy数组完成 . 我有一些列,我想添加到稀疏矩阵,以增加特征向量的数量
  • 5 votes
     answers
     views

    最快的方式访问和放置矩阵中的值

    我写了一个程序,并一直在分析它 . 瓶颈如下(如果我使用稀疏矩阵): 26534 0.775 0.000 66.657 0.003 compressed.py:638(__setitem__) 26534 2.240 0.000 59.438 0.002 compressed.py:688(_set_many) 13318 2.993 ...
  • 2 votes
     answers
     views

    为什么矢量点积与scipy 's sparse csr_matrix than numpy' s密集阵列相比较慢?

    我有一种情况,我需要从稀疏矩阵中提取单行,并使其点积与密集行 . 使用scipy的csr_matrix,这似乎比使用numpy的密集数组乘法慢得多 . 这对我来说是令人惊讶的,因为我预计稀疏点产品将涉及明显更少的操作 . 这是一个例子: import timeit as ti sparse_setup = 'import numpy as np; import scipy.sparse as s...
  • 0 votes
     answers
     views

    在scipy csr_matrix中获取特定行并使用sparse.vstack组合它们非常慢

    我正在学习机器学习,我有两个表,第一个是训练集,其中包括一个名为"userID"的列 .另一个表是每个用户的应用程序功能(每个用户拥有的应用程序),并转换为csr_matrix,看起来像(密集形式): [[0,1,...0,1],[1,0,...,1,1],[0,0,...0,0]...] csr_matrix中的某些行都是零元素 . 对于第一个表中的每个userID,我通过...
  • 2 votes
     answers
     views

    scipy sobel边缘检测,提取外部像素

    试图在它自己的区域内提取边缘外部和内部的像素,目前我正在应用像这样的scipy Sobel滤镜: im = scipy.misc.imread(filename) im = im.astype('int32') dx = ndimage.sobel(im, axis=0) dy = ndimage.sobel(im, axis=1) mag = np.hypot(dx, dy) mag *=...
  • 1 votes
     answers
     views

    对Numpy Arrays进行条件检查的有效方法

    我试图对numpy数组执行一些条件检查,我的代码现在不是非常pythonic . 有人可以建议更有效的方法来编写下面的代码吗? h是2D numpy浮点数组,其维数为nrows * ncols ibound是一个2D numpy数组的int,其维数为nrows * ncols L1TopOld是2D numpy浮点数组,其维数为nrows * ncols eps = 1.0e-0...
  • 0 votes
     answers
     views

    将多维numpy数组转换为ctypes数组的最有效方法

    您好,我在python中使用ctypes模块从python运行一些图像处理C代码,以优化我的代码,并减少执行时间 . 为此,我正在将图像读入一个numpy数组,然后使用内核将2D卷积应用于图像,从而生成过滤后的图像 . 我希望在C中实现相同,以节省一些执行时间 . 因此,问题的第一部分是将numpy图像数组转换为ctype数组,以便我可以在C中执行卷积 . 这是我的C代码,它现在什么都不做,但我需...
  • 27 votes
     answers
     views

    在numpy数组中转发NaN值的最有效方法

    示例问题 举个简单的例子,考虑如下定义的numpy数组 arr : import numpy as np arr = np.array([[5, np.nan, np.nan, 7, 2], [3, np.nan, 1, 8, np.nan], [4, 9, 6, np.nan, np.nan]]) 其中 arr 在控制台输出中如下...
  • 46 votes
     answers
     views

    Scipy稀疏...数组?

    所以,我正在使用非常稀疏的numpy数组进行一些Kmeans分类 - 很多很多零 . 我想我会使用scipy的'稀疏'软件包来减少存储开销,但我对如何创建数组而不是矩阵有点困惑 . 我已经完成了关于如何创建稀疏矩阵的教程:http://www.scipy.org/SciPy_Tutorial#head-c60163f2fd2bab79edd94be43682414f18b90df7 为了模拟一个数...
  • 6 votes
     answers
     views

    有效地将numpy数组与元素进行比较

    我正在执行大量这些计算: A == A[np.newaxis].T 其中A是一个密集的numpy数组,通常具有共同的值 . 出于基准测试目的,我们可以使用: n = 30000 A = np.random.randint(0, 1000, n) A == A[np.newaxis].T 当我执行此计算时,我遇到了内存问题 . 我相信这是因为输出不是更高效的bitarray或np.packedbi...
  • 1 votes
     answers
     views

    在Python NumPy中扩展图像的最有效方法

    我想要一个函数将图像作为numpy数组接收,并根据输入范围中指定的最大值和最小值将值重新映射到新范围(0,1) . 我有一个工作函数,但我正在迭代数组,大约需要10秒才能完成 . 有没有更有效的方法来执行此任务?也许有些内置的numpy功能我不知道? 这就是我所拥有的: import numpy as np def stretch(image, minimum, maximum): dY...
  • 59 votes
     answers
     views

    Python中的稀疏3d矩阵/数组?

    在scipy中,我们可以使用scipy.sparse.lil_matrix()等构造一个稀疏矩阵 . 但矩阵在2d . 我想知道在Python中是否存在稀疏3d矩阵/数组(张量)的现有数据结构? 附:我在3d中有很多稀疏数据,需要张量来存储/执行乘法 . 如果没有现有的数据结构,是否有任何建议来实现这样的张量?
  • 1 votes
     answers
     views

    从python中给定大型稀疏矩阵的不同行的操作创建一个新的稀疏矩阵

    比方说,S是大SciPy的-CSR矩阵(稀疏),并用键的字典d - 在S&值的行矢量A>指数(位置) - >其他行向量的所有索引(位置)的列表在S中,对于l中的每个行向量,您减去A并获得新的向量,该向量将只是要在新的稀疏矩阵中更新的新行向量 . 形式字典 - > { 1 : [4 , 5 ,... ,63] }然后必须用....创建一个新的稀疏矩阵 new_row_vector...
  • -1 votes
     answers
     views

    使用Scipy稀疏矩阵进行高效的矩阵更新和矩阵乘法

    我有一个大矩阵(236680 * 236680),我的电脑没有足够的内存来读取完整的矩阵,所以我正在考虑Scipy稀疏矩阵 . 我的目标是将生成的矩阵(非稀疏)乘以np.eye(观察次数)-np.ones(观察次数)/用稀疏矩阵观察的次数 . 在Scipy中,我使用以下代码,但计算仍然很大 . 我的问题包括: 生成第一个矩阵,有没有其他方法来加速这个过程? 用于矩阵乘法,有没有办法减少内存...
  • 1 votes
     answers
     views

    将稀疏的scipy矩阵加载到现有的numpy密集矩阵中

    假设我有一个巨大的numpy矩阵 A 需要几十GB . 分配此内存需要不可忽略的时间 . 假设我也有一组scipy稀疏矩阵,其尺寸与numpy矩阵相同 . 有时我想将这些稀疏矩阵中的一个转换为密集矩阵来执行一些矢量化操作 . 我可以将这些稀疏矩阵中的一个加载到 A 而不是每次我想将稀疏矩阵转换为密集矩阵时重新分配空间吗?在scipy稀疏矩阵上可用的.toarray()方法似乎没有采用可选的密集数组...
  • 27 votes
     answers
     views

    是否有“增强的”numpy / scipy dot方法?

    问题 我想使用numpy或scipy来计算以下内容: Y = A**T * Q * A 其中 A 是 m x n 矩阵, A**T 是 A 的转置, Q 是 m x m 对角矩阵 . 由于 Q 是对角矩阵,因此我只将其对角线元素存储为矢量 . 解决Y的方法 目前我可以想到两种如何计算 Y 的方法: Y = np.dot(np.dot(A.T, np.diag(Q)), A) 和 Y = ...
  • 5 votes
     answers
     views

    在numpy / scipy中为稀疏的矩阵添加一个非常重复的矩阵?

    我正在尝试在NumPy / Scipy中实现一个函数来计算单个(训练)向量和大量其他(观察)向量之间的Jensen-Shannon divergence . 观察向量存储在非常大的(500,000x65536)Scipy sparse matrix(密集矩阵不适合存储器)中 . 作为算法的一部分,我需要为每个观察向量Oi计算T Oi,其中T是训练向量 . 我不是常见的广播规则,因为稀疏矩阵似乎不支...
  • 3 votes
     answers
     views

    Numpy / Scipy稀疏与密集乘法

    scipy稀疏矩阵类型与普通numpy矩阵类型之间似乎存在一些差异 import scipy.sparse as sp A = sp.dia_matrix(tri(3,4)) vec = array([1,2,3,4]) print A * vec #array([ 1., 3., 6.]) print A * (mat(vec).T) ...
  • 2 votes
     answers
     views

    稀疏旋转矩阵Python SciPy

    我很清楚这些是如何工作的以及它们之间的区别 . (SciPy docs) 在Python中用于旋转矩阵的最佳稀疏数据结构是什么?
  • 2 votes
     answers
     views

    在python中创建稀疏循环矩阵

    我想在Python中创建一个大的(比如10 ^ 5 x 10 ^ 5)稀疏循环矩阵 . 它在位置 [i,i+1], [i,i+2], [i,i+N-2], [i,i+N-1] 处每行有4个元素,其中我假设了索引的周期性边界条件(即 [10^5,10^5]=[0,0], [10^5+1,10^5+1]=[1,1] 等等) . 我查看了scipy稀疏矩阵文档,但我很困惑(我是Python的新手) . ...
  • 0 votes
     answers
     views

    在不改变稀疏度的情况下,将scipy稀疏矩阵相乘

    在 scipy 中,当我将稀疏矩阵的切片与仅包含零的数组相乘时,结果是一个比之前更少或相同稀疏的矩阵,即使它应该更多或同样稀疏 . 将矩阵的部分设置为0或False也是如此: >>> import numpy as np >>> from scipy.sparse import csr_matrix as csr >>> M = csr(np....
  • 51 votes
     answers
     views

    如何在numpy中将布尔数组转换为索引数组

    是否有一个有效的Numpy机制来检索基于条件为true的数组中位置的整数索引,而不是布尔掩码数组? 例如: x=np.array([range(100,1,-1)]) #generate a mask to find all values that are a power of 2 mask=x&(x-1)==0 #This will tell me those values print ...
  • 0 votes
     answers
     views

    从scipy频率矩阵和值数组创建'virtual' numpy数组

    我有一个M×W频率矩阵 doc_word_freqs 表示字w在scipy CSR矩阵中出现在文档m中的次数 . 我还有一个W维向量 z_scores ,其中一些值与每个单词相关联(在我的特定情况下,每个单词的语料库两个子集之间的对数比值的z得分,但这与问题没有密切关系) . 我想计算每个文档的z分数集的一些度量(在这种情况下,方差) . 就是这样的: np.var(doc_z_scores, a...
  • 1 votes
     answers
     views

    在scipy稀疏矩阵的行中查找前n个值

    我有一个CSR格式的scipy稀疏矩阵 . 这是72665x72665因此将此矩阵转换为密集矩阵以执行操作是不切实际的(此矩阵的密集表示类似于40演出) . 矩阵是对称的,并且具有大约8,200万个非零项(~1.5%) . 我希望能够做的是,对于每一行,我想得到最大N值的索引 . 如果这是一个numpy数组,我会使用 np.argpartition 这样做: for row in matrix: ...
  • 0 votes
     answers
     views

    大稀疏矩阵的错误

    我有(2329452,41601)csr稀疏矩阵,如果我尝试添加一些cols,我得到ValueError,当它尝试将其转换为coo格式时: E:\Anaconda3\lib\site-packages\scipy\sparse\coo.py in _check(self) 230 raise ValueError('row index exceeds mat...

热门问题