-
0 votesanswersviews
使用Keras预测的Python多处理
上下文 Keras模型(link here,为了MWE)需要并行地预测大量测试数据 . 我将一个多维数据集定义为 uint 的 numpy.ndarray . 其每个垂直切片是一列,其中npixels = 128高度,nbins = 128深度 . 每个预测都会转换去噪列(相同大小)中的列 . 我提供了三种方法:单线程,多处理和 pathos 包多处理 . 两种多线程方法都不起作用,我没理由 .... -
0 votesanswersviews
Python在map中执行subprocess.call
嗨,我有以下代码: import sys import multiprocessing as mp def create_parser(): from argparse import ArgumentParser, FileType ap = ArgumentParser() ap.add_argument('infile', type=FileType('r'), ... -
1 votesanswersviews
使用Python 2.7 / Windows运行多处理作业
基于this answer,我想用Python 2.7 / Windows运行这个 multiprocessing 作业: def main(): import itertools as it from multiprocessing import Pool def dothejob(i, j, k): print i, j, k the_arg... -
0 votesanswersviews
无法在python SQLAlchemy中执行多处理
通过以下简单的代码片段,我尝试启动并运行线程多处理 . import multiprocessing import os from app.PD.models import PAST_DUE from app.LoanContract.models import LOAN_CONTRACT def doPDDate(n): print("Worker process id f... -
0 votesanswersviews
不能腌制'select.poll'型物体
我的目标是从6 sensortag2获得加速度计,磁力计,陀螺仪读数 . 由于阅读花费了太多时间来打印,我想使用 multiprocessing.Pool . 但是当我尝试为pool.map函数添加参数时会出现问题 . from bluepy.sensortag import SensorTag SENSORTAG_ADDRESS = "24:71:89:XX:XX:XX"... -
0 votesanswersviews
无论如何将python期货放入fifo?
我正在尝试将并行处理python脚本放在一起 . 它使用期货来执行重型处理任务,而主线程构建任务以供它们执行,并将它们放入 multiprocessing.Queue . 有's another process that deals with the results of futures(reading the results and compiling the final result). I... -
0 votesanswersviews
在共享数据时多处理两个功能
我刚开始使用Python,所以请耐心等待 . 我的代码现在看起来像这样(简化) lst = [] def func1(): while True: **doing some stuff with selenium, performing some operations on lst** **I never break the loop** def fu... -
1 votesanswersviews
在Python多处理中同步写入共享内存(列表)
我有以下代码: import multiprocessing manager = multiprocessing.Manager() 如果长度小于4则附加列表的函数或创建初始值为“y”的新函数 . def f(my_array): if len(my_array) < 4: my_array.append('x') else: my_arra... -
0 votesanswersviews
并行python处理数据
我有一个脚本,其中一部分在某些时候能够并行运行 . Python 3.6.6 目标是最大限度地减少执行时间 . 其中一个部分是与Redis的连接,获取两个键的数据,每个键为 pickle.loads 并返回已处理的对象 . 什么是这类任务的最佳解决方案?我已经尝试了 Queue() ,但是 Queue.get_nowait() 锁定了脚本,并且在 {process}.join() 之后,即使任务... -
13 votesanswersviews
Keras Tensorflow:对多个gpus的预测
我正在使用带有张量流的Keras作为后端 . 我有一个编译/训练模型 . 我的预测循环很慢,所以我想找到一种方法来并行化 predict_proba 调用以加快速度 . 我想获取批次(数据)列表,然后根据可用的gpu,在这些批次的子集上运行 model.predict_proba() .实质上: data = [ batch_0, batch_1, ... , batch_N ] on gpu_... -
3 votesanswersviews
加入多处理队列需要很长时间
在Python 2.7中,我实现了一个包含多个队列和消费者的多处理场景 . 简化的想法是,我有一个作业 生产环境 者,它被提供给消费者,处理作业和一个错误处理程序,它完成所有日志记录 . 非常简化,它看起来都与之相当: import multiprocessing as mp import Queue job_queue = mp.Queue() error_queue = mp.Queue()... -
0 votesanswersviews
提高matplotlib中多个数字的绘图速度
我有使用matplotlib pcolormesh生成大量png图像的代码 . 图像是高分辨率的,因此需要一段时间才能绘制图像 . 我试图尽可能地减少绘图时间而不影响图形的干净外观,但每个图像仍然需要大约15到20秒才能保存到文件中 . 问题是,此代码必须在操作设置中工作,当脚本在crontab上运行时(每当新数据可用时),每隔约5分钟生成一次图像 . 对于仅1个变量,我通过循环包含我的不同 Ma... -
1 votesanswersviews
python或dask并行生成器?
是否有可能在python中(可能使用dask,可能使用多处理)在核心上“放置”生成器,然后并行地逐步完成生成器并处理结果? 它需要特别是生成器(或具有 __iter__ 的对象);生成器产生的所有生成元素的列表将不适合内存 . 特别是: 使用pandas,我可以调用 read_csv(...iterator=True) ,这给了我一个迭代器(TextFileReader) - 我可以 for in... -
36 votesanswersviews
了解多处理:Python中的共享内存管理,锁和队列
Multiprocessing是python中一个强大的工具,我想更深入地理解它 . 我想知道何时使用常规Locks和Queues以及何时使用多处理Manager在所有进程中共享这些 . 我提出了以下测试方案,其中包含四种不同的多处理条件: 使用池和 NO 经理 使用池和管理器 使用单个进程和 NO Manager 使用单个进程和Manager 工作 所有条件都执行作业功能 ... -
5 votesanswersviews
多处理python没有并行运行
我一直在尝试使用python中的多处理模块来实现计算成本高昂的任务的并行性 . 我能够执行我的代码,但它并不是并行运行的 . 我一直在阅读多处理的手册页和foruns,以找出它为什么不工作,我还没有想出来 . 我认为问题可能与执行我创建和导入的其他模块时的某种锁定有关 . 这是我的代码: main.py: ##import my modules import prepare_data import... -
2 votesanswersviews
Python:在衍生进程之间共享锁定
最终目标是在后台执行一个方法,但不是并行执行:当多个对象调用此方法时,每个对象都应该等待轮到他们继续 . 要在后台运行,我必须在子进程(而不是线程)中运行该方法,我需要使用spawn(而不是fork)来启动它 . 为了防止并行执行,显而易见的解决方案是在进程之间共享全局锁 .当进程被分叉时,这是Unix上的默认进程,很容易实现,正如以下两个代码中所强调的那样 .我们可以将它作为类变量共享: imp... -
0 votesanswersviews
celery - 长时间运行进程的消息队列
我正在通过django 1.11.5构建一个Web服务器,它使用celery-3.1.23和rabbitmq作为消息队列管理器,将异步任务发送到许多不同的恶魔进程(具有无限循环的进程[长时间运行] ) . 如何为每个进程单独动态创建队列,从守护进程内的进程队列接收消息,异步执行某些操作,然后将结果转发给另一个"aggregator queue",收集并验证结果,并发送响应用户 ... -
5 votesanswersviews
使用spark进行多处理(PySpark)[重复]
这个问题在这里已有答案: How to run independent transformations in parallel using PySpark? 1回答 用例如下: 我有一个大型数据框,其中包含一个'user_id'列(每个user_id可以出现在很多行中) . 我有一个用户列表 my_users 我需要分析 . Groupby , filter 和 aggregate 可能是一个... -
2 votesanswersviews
使用多处理并行化scipy.optimize.leastsq
基于https://stackoverflow.com/a/10552563/8235309,我试图并行化scipy.optimize.leastsq的执行 . xx,yy,zz是3D Cloud 的点的坐标,我计算线点距离 . import multiprocessing import numpy as np from scipy.optimize import leastsq p = [5...