-
0 votesanswersviews
pcntl_fork之后PHP关闭连接
我试图通过api使用不同的进程获取一些数据来同时执行所有请求 . 它运行正常,但我在脚本中有很多内存泄漏(我使用共享内存段来存储每个进程获取的结果) 我用来创建共享内存段的代码看起来像这样(我只是将最小代码用于理解问题): for ($i = 0; $i < 6; $i++) { if (getmypid() == $parent_pid) { $process_po... -
0 votesanswersviews
如何以最快的方式在python 3中的一个非常大的bytearray上执行下一个操作?
我为一个程序编写代码,该程序将使用带有'bytes'数据的非常大的文件(例如4GB用于x = 2048,y = 2048,时间= 1000,代码如下) . 在某些情况下,它可能高达16GB文件 . 我确信使用多处理可以将absolute_bytearray(数据)加速至少四次: How to Multi-thread an Operation Within a Loop in Python 如何为... -
0 votesanswersviews
在共享数据时多处理两个功能
我刚开始使用Python,所以请耐心等待 . 我的代码现在看起来像这样(简化) lst = [] def func1(): while True: **doing some stuff with selenium, performing some operations on lst** **I never break the loop** def fu... -
1 votesanswersviews
在Python多处理中同步写入共享内存(列表)
我有以下代码: import multiprocessing manager = multiprocessing.Manager() 如果长度小于4则附加列表的函数或创建初始值为“y”的新函数 . def f(my_array): if len(my_array) < 4: my_array.append('x') else: my_arra... -
0 votesanswersviews
Python多处理VMware:流程挂起
尝试在VSCode中的VMware Workstation 15中的Linux VM中运行简单的测试脚本 . 该脚本只挂在工作池中,'results = p.map(f,chunk)' . 不确定我是否错过了让它在VM或Linux中运行的东西 . 在窗户上运行良好 . import multiprocessing as mp import os import time def f(x): ... -
0 votesanswersviews
python中的多处理和多线程
多线程/多处理以下代码片段的最佳方法是什么? 摘要:素数从3 ......及以后找到 . 然后将每个素数附加到数组 primes[] ,其中,找到与前一个素数的间隙 . 连续的最长偶数序列将打印到控制台 . 我已经阅读了有关此主题的其他问题和说明,但我很困惑,不知道从哪里开始 . from timeit import default_timer as timer start = timer() ... -
0 votesanswersviews
Python3多处理共享内存不正确的输出
在下面的代码中,我正在创建一个multiprocessing.Array,并将其传递给2个不同的对象,其中一个将为此添加1并且将保持跟踪它没有添加一个,而另一个将减去1并且同样地跟踪它从中减去1的次数 . import multiprocessing class One(multiprocessing.Process): def __init__(self, value): ... -
0 votesanswersviews
多线程和异步文件到cpu副本 . [等候接听]
我正在制作一个程序,必须打开一个文件,以便处理它并给出输出 . 我最大的瓶颈是文件I / O,我在徘徊是否可以使用多个线程在读取模式下打开同一个文件,以便每个人都访问另一个段并将其复制到缓冲区 . 因此,第一个处理可以在完成复制的所有线程之前开始 . 我的程序是用C语言编写的 . 随意给我一个C答案 . -
0 votesanswersviews
Python并行刮取转储到JSON
寻找以下骨架代码的意见 . 我将使用一个大的输入列表进行一些Web抓取,并希望并行化该函数,同时将输出写入块中的json文件,以防进程失败我不会丢失工作 . 代码生成我想要的输出,函数f将是刮刀,print(结果)将输出到json文件 . 想知道是否有更有效的方法: import multiprocessing as mp import os def f(x): print('Doing... -
609 votesanswersviews
多处理与线程Python
我试图了解multiprocessing优于threading的优点 . 我知道 multiprocessing 绕过Global Interpreter Lock,但是还有什么其他优点,并且 threading 不能做同样的事情吗? -
0 votesanswersviews
在子多处理中打开PyQt5窗口.Process(Python3)
我正在尝试在新进程中打开第二个窗口,以便不使用PyQt5冻结主窗口 . 出于这个原因,我定义了一个继承自 multiprocessing.Process 并显示窗口的新类 . 这是主要代码: class GuiMain(QMainWindow): ... # Main window with several functions. When a button is clicked, ... -
1 votesanswersviews
在Perl中进行多处理任务时出现问题
我知道正确的方法将这个程序作为一个非阻塞进程,因为当我等待一个孩子的响应(使用 waitpid )时,其他进程也必须在队列中等待,但是,如果一些儿童过程在此之前死亡(我的意思是,这些过程在无序中死亡)?所以,我一直在寻找,我发现我可以获得刚刚死亡的过程的PID,因为我使用 waitpid(-1, WNOHANG) . 我总是得到一个警告 WNOHANG 不是一个数字,但是当我添加了lib sys... -
0 votesanswersviews
通过使用C作为unix,使用线程根据给定的根位置遍历文件系统
我想通过使用线程和进程遍历文件系统 . 我的程序必须假设第一个参数是“-p”,它提供了一个多进程应用程序,或者“-t”以多线程方式运行 . 第二个参数是文件或目录的路径名 . 如果我的程序获取文件的路径,它应该以字节为单位打印出文件的大小 . 如果我的程序获取目录的路径,它应该以相同的方式打印出目录名,然后处理目录中除目录本身和父目录之外的所有条目 . 如果给我的程序一个目录,它必须显示以指定目录... -
84 votesanswersviews
多处理中的共享内存对象
假设我有一个大内存numpy数组,我有一个函数 func ,它接受这个巨大的数组作为输入(连同一些其他参数) . 具有不同参数的 func 可以并行运行 . 例如: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results = [pool.app... -
52 votesanswersviews
多处理中的共享内存
我有三个大清单 . 首先包含bitarrays(模块bitarray 0.8.0),另外两个包含整数数组 . l1=[bitarray 1, bitarray 2, ... ,bitarray n] l2=[array 1, array 2, ... , array n] l3=[array 1, array 2, ... , array n] 这些数据结构需要相当多的RAM(总共约16GB) ... -
1 votesanswersviews
Python3多处理共享对象
在Python 3.2.3中使用 multiprocessing 模块(在Debian 7.5上)时,我偶然发现了共享对象的同步问题 . 我把这个简单的例子放在一起来说明问题,它的功能类似于 multiprocessing.Pool.map (我能想到的最简单) . 我正在使用 multiprocessing.Manager ,因为我的原始代码使用它(通过网络同步) . 但如果我使用简单的 mul... -
2 votesanswersviews
使用Cython多处理共享内存
我试图用Cython和多处理包在共享内存中定义一个数组 . 但是,我无法在.pxd文件中声明此数组 . 简单的测试代码如下 . 我有一个带有变量my_data的Cython类数据 . 这个变量my_data将是共享数组 . Data.pxd: cimport numpy as np cdef class Data: cdef public np.ndarray my_dat... -
2 votesanswersviews
共享内存和多处理
从this question及其答案,我想我理解为什么这个python代码: big_list = [ {j: 0 for j in range(200000)} for i in range(60) ] def worker(): for dic in big_list: for key in dic: pass ... -
0 votesanswersviews
python3多处理中的共享内存和服务器进程是什么?
在阅读有关如何使用python3多处理在进程间共享数据时,我开始了解共享内存和服务器进程,但文档很少,就像使用哪一个等等细节 . 我想更多地了解它 . 比较它们 . -
0 votesanswersviews
Python3在父/子进程之间共享数组
https://docs.python.org/3/library/multiprocessing.html#multiprocessing.Array What I’m trying to do 在MainProcess中创建一个数组,并通过继承将其发送到任何后续子进程 . 子进程将更改数组 . 父进程将查找更改并采取相应措施 . The problem 父进程没有"see"... -
2 votesanswersviews
用单个GPU预测keras模型的多处理
Background 我想使用带有Inception-Resnet_v2的keras来预测病理图像 . 我已经训练了模型并得到了.hdf5文件 . 由于病理图像非常大(例如:20,000 x 20,000像素),因此我必须扫描图像以获得用于预测的小补丁 . 我想使用python2.7的多处理库来加速预测过程 . 主要思想是使用不同的子进程扫描不同的行,然后将补丁发送到模型 . 我看到有人建议在子进... -
2 votesanswersviews
Python多处理工具与Py(Spark)
一个新手问题,因为我越来越困惑与pyspark . 我想扩展现有的python数据预处理和数据分析管道 . 我意识到,如果我用pyspark对数据进行分区,我不能再将每个分区视为独立的pandas数据帧,并且需要学习使用pyspark.sql行/列函数进行操作,并更改大量现有代码,再加上我我必然会激发mllib库,并且不能充分利用更成熟的scikit-learn包 . 那么,如果我可以使用多处理工... -
1 votesanswersviews
Python:鼠标向下计数,鼠标向上时停止
我正在尝试制作一个python脚本,当按下鼠标按钮时,该脚本从0开始计数 . 我的想法是当按下鼠标左键时使用pyHook进入函数,并在释放鼠标左键时退出函数 . 我对python很新,很抱歉给出了不好的解释 . 一些伪代码: import pyHook import pythoncom def termin(): return None def counter(tell): a=... -
4 votesanswersviews
单GPU上多个Keras模型的并行拟合
我试图在一个GPU上并行安装多个小型Keras型号 . 由于我需要将它们从列表中删除并一次训练它们的原因 . 由于我不熟悉标准的多处理模块,我使用了pathos . 我试图做的是这样的: from pathos.multiprocessing import ProcessPool as Pool import tensorflow as tf import keras.backend as K ... -
0 votesanswersviews
使用TensorFlow-GPU Python多处理时的错误?
当我使用TensorFlow-GPU Python多处理时,我注意到了一种奇怪的行为 . 我已经实现了DCGAN一些自定义和我自己的数据集 . 由于我将DCGAN调节到某些功能,我有训练数据和测试数据以供评估 . 由于我的数据集的大小,我编写了数据加载器,它们使用Python的multiprocessing并发运行并预加载到队列中 . 代码的结构大致如下所示: class ConcurrentLo... -
1 votesanswersviews
在多处理中使用keras
这基本上是一个副本:Keras + Tensorflow and Multiprocessing in Python但我的设置有点不同,他们的解决方案对我不起作用 . 我需要针对从另一个模型做出的预测来训练keras模型 . 预测与一些CPU繁重的代码相关联,因此我希望将它们并行化并让代码在工作进程中运行 . 这是我想要执行的代码: import numpy as np from keras.l... -
0 votesanswersviews
使用Keras预测的Python多处理
上下文 Keras模型(link here,为了MWE)需要并行地预测大量测试数据 . 我将一个多维数据集定义为 uint 的 numpy.ndarray . 其每个垂直切片是一列,其中npixels = 128高度,nbins = 128深度 . 每个预测都会转换去噪列(相同大小)中的列 . 我提供了三种方法:单线程,多处理和 pathos 包多处理 . 两种多线程方法都不起作用,我没理由 .... -
0 votesanswersviews
Scipy的优化与Multiprocessing不兼容?
在尝试使用Scipy的优化算法来最小化在子过程中计算其值的函数时,我发现基于梯度的算法(到目前为止流域购物和L-BFGS-B)在optimize.py的第562行遇到以下错误: grad [k] =(f(*((xk d,)args)) - f0)/ d [k]TypeError:不支持的操作数类型 - :'NoneType'和'NoneType' 以下是生成此错误的代码的简单示例: impo... -
0 votesanswersviews
Spring-batch:如何在Spring批处理中使用ItemProcessor的多线程运行处理器?
现在我以前的使用场景如下: 使用FlatFileItemReader逐行读取带有.txt文件的输入流 使用ItemProcessor进程每行数据调用http的远程服务 使用FlatFileItemWriter将每个请求的结果写入文件 我想使用ItemProcessor in step 2 处理带有 multi thread 的远程调用 主要流程代码如下(带 spring 启动):... -
24 votesanswersviews
在HPC上使用scikit-learn功能的并行选项的简便方法
在scikit-learn的许多功能中实现了用户友好的并行化 . 例如,在 sklearn.cross_validation.cross_val_score 中,您只需在 n_jobs 参数中传递所需数量的计算作业 . 对于具有多核处理器的PC,它将非常好用 . 但是,如果我想在高性能集群中使用这样的选项(安装了OpenMPI包并使用SLURM进行资源管理)?据我所知 sklearn 使用 job...