-
2 votesanswersviews
如何配置分布式TensorFlow？
我在TF中有一个简单的分布式设置（每一步大致对应一个 tf.Session.run 调用） Parent通过与唯一父任务的目标的会话对设备 '/job:parent' 上的变量进行更改 . 几个子进程 tf.assign 将局部变量的父变量放在 '/job:child/task:<child index>' 上 . 然后，每个子进程在其自己的TF设备上使用自己的局部变量进行... -
1 votesanswersviews
Cuda多GPU：所有GPU都是同一型号？ [关闭]
使用CUDA，多gpu cuda设置上的所有GPU都必须是同一型号的GPU吗？ 例如，我现在有一个Geforce 950 . 如果我再拿几张卡，它们都必须是950s吗？ （如果是这样，我是否必须与同一制造商呆在一起？） 答案显示了如何在每个GPU上控制CUDA（假设GPU都是具有相同计算级别的CUDA），并确认我可以购买不同型号的NVIDIA卡（在我花费300美元之前）并安装在同一个CUDA上安... -
0 votesanswersviews
使用multi_gpu_model和layers.trainable = True时，keras微调预训练模型不会改变权重
我正在加载VGG16预训练模型，添加几个密集层并对基础VGG16的最后5层进行微调 . 我在mutliple gpus上训练我的模型 . 我在训练前后保存了模型 . 尽管有layers.trainable = True，权重是相同的 . 请帮忙！ 继承人的代码 from keras import applications from keras import Model <im... -
0 votesanswersviews
使用Keras中的multi_gpu_model冻结图层
我正在尝试微调Keras中修改过的InceptionV3模型 . 我按照this page上的示例"Fine-tune InceptionV3 on a new set of classes" . 所以我首先训练了使用以下代码添加到InceptionV3基本模型中的顶部密集层： model = Model(inputs=base_model.input, outputs=pre... -
3 votesanswersviews
在TensorFlow中进行多GPU培训的优势是什么？
在this TensorFlow tutorial中，您可以使用N个GPU将N个小批量（每个包含M个训练样本）分配到每个GPU并同时计算梯度 . 然后平均从N GPU收集的梯度并更新模型参数 . 但这与使用单个GPU计算N * M训练样本的梯度，然后更新参数具有相同的效果 . 因此，在我看来，唯一的优势是您可以在相同的时间内使用更大尺寸的迷你批次 . 但更大尺寸的迷你批次必然更好吗？ 我认为你不应... -
0 votesanswersviews
张量流中RNN的数据并行性
最近，我使用张量流来开发NMT系统 . 我尝试使用数据并行方法在multi-gpus上训练这个系统来加速它 . 我遵循tensorflow中广泛使用的标准数据并行方式 . 例如，如果我们想在8-gpus计算机上运行它 . 首先，我们构建一个大批量，其大小是单个GPU中使用的批量的8倍 . 然后我们将这个大批量分成8个小批量 . 我们分别用不同的gpus训练他们 . 最后，我们收集渐变来更新参数 .... -
22 votesanswersviews
多GPU基本用法
如何使用两个设备来改善例如以下代码的性能（向量之和）？是否可以“同时”使用更多设备？如果是，我如何管理不同设备的全局内存上的向量分配？ #include <stdio.h> #include <stdlib.h> #include <math.h> #include <time.h> #include <cuda.h> #define ... -
1 votesanswersviews
Tensorflow如何在2个GPU上训练2个CNN（独立） . CUDA_ERROR_OUT_OF_MEMORY错误
1台带2个GPU的电脑 . 在2个GPU上训练2个独立的CNN . 我使用以下来为GPU创建图形： with tf.device('/gpu:%d' % self.single_gpu): self._create_placeholders() self._build_conv_net() self._create_cost() self._creat_optimi... -
1 votesanswersviews
Keras Multi GPU示例提供ResourceExhaustedError
所以我尝试在Keras上使用多个GPU . 当我使用示例程序运行training_utils.py（在training_utils.py代码中作为注释给出）时，我最终得到 ResourceExhaustedError . nvidia-smi 告诉我，四个GPU中只有一个正在运行 . 使用一个GPU适用于其他程序 . TensorFlow 1.3.0 Keras 2.0.8 Ub...