-
2 votesanswersviews
DecoderRNN的输出包含额外的维度（Pytorch）
我开发了一个编码器（CNN） - 解码器（RNN）网络，用于pytorch中的图像字幕 . 解码器网络接收两个输入 - 来自编码器的上下文特征向量和用于训练的字幕的字嵌入 . 上下文特征向量的大小= embed_size ，它也是 Headers 中每个单词的嵌入大小 . 我在这里的问题更关注Class DecoderRNN的输出 . 请参阅下面的代码 . class DecoderRNN(nn... -
0 votesanswersviews
如何在Pytorch中实现每个内存块有多个单元的LSTM层？
我打算在Pytorch中用多个存储单元块实现LSTM - 或多个LSTM单元，LSTM单元是每层的存储块及其门的集合，但似乎基类 torch.nn.LSTM 只能实现多个-layer LSTM，每层有一个LSTM单元： lstm = torch.nn.LSTM(input_size, hidden_size, num_layers) 哪里（来自Pytorch的文件）： input_size... -
1 votesanswersviews
是否可以在PyTorch中实现具有LSTMCells模块的多层LSTM？
在PyTorch中有一个LSTM模块，除了输入序列，隐藏状态和单元状态之外，还接受 num_layers 参数，该参数指定LSTM具有多少层 . 然而，另一个模块LSTMCell只有输入大小和隐藏状态数作为参数，没有 num_layers ，因为这是多层LSTM中的单个单元 . 我的问题是什么是将LSTMCell模块连接在一起以实现与多层LSTM相同效果的正确方法 num_layers > ... -
1 votesanswersviews
辍学降低了Pytorch中单层LSTM的测试和训练准确度
我在Mnist数据上有一层带有pytorch的层lstm . 我知道对于pytorch中的lstm的一层lstm dropout选项不能运行 . 所以，我在第二层的开头添加了一个丢弃，这是一个完全连接的层 . 但是，我观察到没有辍学我在测试数据上得到97.75％的准确度，而辍学0.5我得到95.36％ . 我想问一下我做错了什么或者出现这种现象的原因是什么？我在测试中将其更改为eval模式，但准确... -
10 votesanswersviews
如何作为打包序列给出的填充序列由pytorch中的RNN处理？
在pytorch中，我们可以给出一个打包序列作为RNN的输入 . 从official doc开始，RNN的输入可以如下 . input（seq_len，batch，input_size）：包含输入序列特征的张量 . 输入也可以是打包的可变长度序列 . 例 packed = torch.nn.utils.rnn.pack_padded_sequence(embedded, input_lengt... -
1 votesanswersviews
隐藏单元在PyTorch中的seq2seq模型中饱和
我正试图在 PyTorch 写一个非常简单的机器翻译玩具示例 . 简单来说，我将机器翻译任务变成了这个： 给定一个随机序列（[4,8,9 ...]），预测一个序列，其元素的元素加1（[5,9,10，...]） . Id：0,1,2将分别用作pad，bos，eos . 我在机器翻译任务中的玩具任务中发现了同样的问题 . 为了调试，我使用非常小的数据大小 n_data = 50 ，并发现该模型甚... -
1 votesanswersviews
用于可变长度输入序列的PyTorch RNN梯度非常小
我的目标是对句子进行多类分类 . 我的RNN（LSTM或GRU）的输入是可变长度序列的批量输入（使用Glove嵌入进行索引） . 此输入右侧用零填充 . 我的GRU RNN重新定义的转发是： def last_timestep(self, unpacked, lengths): # Index of the last output for each sequence idx = (... -
2 votesanswersviews
PyTorch中RNN（nn.LSTM，nn.GRU等）的输出h_n是如何构造的？
文档说 h_n of shape（num_layers * num_directions，batch，hidden_size）：包含t = seq_len隐藏状态的张量 现在， batch 和 hidden_size 维度几乎是不言自明的 . 不过，第一个维度仍然是一个谜 . 我假设所有层的所有"last cells"的隐藏状态都包含在此输出中 . 但那么"upp... -
0 votesanswersviews
将RNN和LSTM实现为DQN Pytorch代码
我有一些麻烦在伟大的www上找到一些例子我如何用LSTM层实现一个循环神经网络进入我当前的Pytorch深度q网络，所以它变成了DRQN ..跟我一起开始我刚刚开始..更多，我是 NOT 正在处理图像处理，因此CNN也这样做了 not . 我的州是纯粹的温度值 . 这是我的代码，我目前正在训练我的DQN： # Importing the libraries import numpy as np... -
2 votesanswersviews
如何在PyTorch中使用LSTM进行强化学习？
由于观察不能揭示整个状态，我需要使用循环神经网络进行强化，以便网络对过去发生的事情有某种记忆 . 为简单起见，我们假设我们使用LSTM . 现在内置的PyTorch LSTM需要你输入一个形状为 Time x MiniBatch x Input D 的输入，并输出一个形状张量 Time x MiniBatch x Output D . 然而，在强化学习中，为了知道 t+1 时的输入，我需要知道 ... -
0 votesanswersviews
Pytorch中LSTM的可变大小输入
我正在使用可变长度视频的功能来训练一层LSTM . 视频大小从10帧变为35帧 . 我使用的批处理大小为1.我有以下代码： lstm_model = LSTMModel(4096, 4096, 1, 64) for step, (video_features, label) in enumerate(data_loader): bx = Variable(score.view(-1, le... -
1 votesanswersviews
LSTM中输入和标签的PyTorch张量
我是PyTorch的新手，我正在开发一个简单的项目来生成文本，以便了解pytorch . 我正在使用此代码的概念并将其转换为PyTorch：https://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/我有10个时间步长和990个样本 . 对于这990个样本中的每一个，有... -
21 votesanswersviews
为什么我们在pytorch中“打包”序列？
我试图复制How to use packing for variable-length sequence inputs for rnn但我想我首先需要理解为什么我们需要"pack"序列 . 我理解为什么我们需要"pad"但是为什么"packing"（通过 pack_padded_sequence ）是必要的？ 任何高级别的解释将不胜感激！... -
0 votesanswersviews
RNN无法学习积分函数
为了研究深度学习，RNN，LSTM等我试图使RNN适合整合功能 . 我把0到1的随机信号作为RNN的输入，并通过-0.5输入信号偏置成为积分，使0：1之间的积分限制并作为RNN目标学习 . Blue - random input, orange - integrated input 所以我的时间序列只有一个输入（随机）和一个输出（输入的有限积分），我希望RNN通过输入预测输出 . 我使用了Pyt... -
0 votesanswersviews
LSTM序列长度
向大家致以问候！ 我想询问 general 中是否有 optimal sequence length of a LSTM network ，或 time series prediction 问题？ 我读到了非常长的RNN网络所遇到的问题，而LSTM试图在一定程度上解决这个问题并取得了成功 . 我还听说过使用LSTM和RNN处理非常大的序列的技术，例如：截断序列，汇总序列，截断反向传播，甚至使用编码... -
1 votesanswersviews
RNN参数没有更新？
我对PyTorch很新，对神经网络也很新 .我正在尝试构建一个可以猜出性别名称的神经网络，而且我基于判断国籍的PyTorch RNN教程 .我得到的代码运行没有错误，但损失几乎没有变化，让我觉得权重没有更新...这是我输入/输出/目标张量设置的问题吗？或者我的训练功能可能有问题？我很失落，任何帮助都会受到赞赏：cold_sweat：这是我的代码： from __future__ import un... -
0 votesanswersviews
对不同规模的小型车进行培训
我正在尝试在PyTorch中训练一个深度学习模型的图像，这些图像已经被特定维度所取代 . 我想用迷你批次训练我的模型，但是迷你批量大小并没有巧妙地划分每个桶中的例子数量 . 我在a previous post中看到的一个解决方案是用额外的空格填充图像（在训练开始时即时或全部一次），但我不想这样做 . 相反，我希望在培训期间允许批量大小灵活 . 具体来说，如果 N 是存储桶中的图像数量且 B 是批量... -
0 votesanswersviews
如何在邻域中的非常大的图像上计算成对L1距离矩阵？
我正在为我的项目研究深度学习方法 . 我需要计算4D Tensor上的距离矩阵，其大小为 N x 128 x 64 x 64 (Batch Size x Channels x Height x Width) . 这种类型的张量的距离矩阵的大小为 N x 128 x 4096 x 4096 ，并且在GPU中不可能适合这种类型的张量，即使在CPU上它也需要大量的内存 . 因此，我想仅在一些邻域像素（... -
4 votesanswersviews
如何有效地计算Pytorch中的张量？
我有一个张量 x 和 x.shape=(batch_size,10) ，现在我想采取 x[i][0] = x[i][0]*x[i][1]*...*x[i][9] for i in range(batch_size) 这是我的代码： for i in range(batch_size): for k in range(1, 10): x[i][0] = x[i][0] * ... -
0 votesanswersviews
pytorch相当于tf.gather
我在将一些代码从tensorflow移植到pytorch时遇到了一些麻烦 . 所以我有一个尺寸为10x30的矩阵，代表10个例子，每个都有30个特征 . 然后，我有另一个尺寸为10x5的矩阵，其中包含第一个矩阵中每个示例的5个最接近的示例的索引 . 我想使用第二个矩阵中包含的索引“聚集”第一个矩阵中每个示例的5个壁橱示例，让我得到一个形状为10x5x30的3d张量 . 在tensorflow中，这... -
0 votesanswersviews
当我们有model.to（'CUDA'）时为什么我们需要image.to（'CUDA'）
我正在 PyTorch 学习一门课程 . 而且我想知道为什么我们需要分别告诉 torch.utils.data.DataLoader 输出它正在运行的设备 . 如果模型已经在 CUDA 上，为什么它不会相应地自动更改输入？这个模式对我来说很有趣： model.to(device) for ii, (inputs, labels) in enumerate(trainloader): #... -
0 votesanswersviews
torch.utils.data.dataloader输出TypeError：'module' object不可调用
因此，我试图学习pytorch，我从教程得到这个代码，它只是导入一个mnist数据集，但它输出“TypeError：'模块'对象不可调用”在教程“dataloader”写成“Dataloader”但当我像它那样运行它输出“AttributeError：module'torch.utils.data'没有属性'Dataloader'” 在文件中下载的数据mnist但我不知道它是否完整 import ... -
0 votesanswersviews
在python IDLE上没有名为torch的模块
我安装了python anaconda，我还通过anaconda提示安装了pytorch . 我在anaconda提示符下键入以下代码 . conda create -n pytorch python=3.7 activate pytorch conda install pytorch-cpu torchvision-cpu -c pytorch 安装完成后，我在anaconda提示符下输入'p... -
0 votesanswersviews
PyTorch - 加载没有子文件夹的图像
首先，我想说我是PyTorch的新手，所以如果我的问题水平不高，我会在建议中道歉 . 我想知道你是否可以帮助我（我实际上有2个问题） . 背后的故事：我正致力于图像分类 . 我的测试数据根据标签分为子文件夹，我通过DataLoader加载它们 . 第一个问题：1）如果您已经训练了具有特定批量大小的模型，那么使用其他尺寸进行测试是否会影响准确性？ 2）有没有办法加载和使用模型与测试数据位于一个文件夹... -
0 votesanswersviews
无法找到就地操作：梯度计算所需的变量之一已通过就地操作进行了修改
我试图计算网络jacobian的损失（即执行双反向），我得到以下错误：RuntimeError：梯度计算所需的变量之一已被inplace操作修改 我在代码中找不到inplace操作，所以我不知道要修复哪一行 . *错误发生在最后一行：loss3.backward（） inputs_reg = Variable(data, requires_grad=True) output... -
1 votesanswersviews
Pytorch，有效的方式通过其第一个和最后一个元素扩展张量
我在pytorch中有一个张量 . 我想分别从_88190_位置开始在特定维度上扩展它，分别是该维度的第一个和最后一个元素 .假设我有数据 [[0, 0, 0], [1, 1, 1], [2, 2, 2]] 的张量 . 操作 extend(dim, k) 会以这种方式改变它： extend(0, 1) ：[ [0, 0, 0], [0, 0, 0] ，[0,0,0]，[1,1,1]，[2,2,2]... -
2 votesanswersviews
Jupyter Notebook中的Pytorch模块错误
我在激活虚拟环境时使用conda命令安装了pytorch . 但是，当我在Jupyter Notebook中导入火炬模块时会出现一些问题 . 我在提示符和Jupyter Notebook中检查了sys.path . 嗯..在提示符中， sys.path 的结果是 ['', '/home/usrname/anaconda3/lib/python36.zip', '/home/usrname... -
1 votesanswersviews
深度学习：通过不同的库保存和加载通用机器模型
我的问题可以分为两部分 . 是否有可以通过不同库使用的机器学习模型文件格式？例如，我通过pytorch保存了一个模型，然后使用tensorflow加载它？ 如果没有，是否有一个可以帮助传输格式的库，以便可以直接在keras中使用pytorch机器学习模型？ 我之所以提出这个问题的原因是，最近我需要将之前训练过的一些模型调整为tensorflow到pytorch . An update ... -
0 votesanswersviews
用于pytorch模型的Coreml模型浮点输入
我有一个pytorch模型，它将 3 x width x height 图像作为输入，像素值在 0-1 之间归一化 例如，在pytorch中输入 img = io.imread(img_path) input_img = torch.from_numpy( np.transpose(img, (2,0,1)) ).contiguous().float()/255.0 我将这个模型转换为core... -
0 votesanswersviews
顺序学习语言翻译的顺序，看不见的单词
序列到序列学习是一种强大的语言翻译机制，特别是在特定情境的情况下在本地使用它 . 我正在关注this pytorch tutorial的任务 . 但是，该教程没有将数据拆分为培训和测试 . 您可能认为这不是什么大问题，只需将其分开，使用一个块进行培训，另一个进行测试 . 但事情并非那么简单 . 本质上，本教程在引导数据集时创建所看单词的索引 . 索引只是存储在字典中 . 这是在进入编码器RNN之前...