首页 文章
  • 1 votes
     answers
     views

    用于可变长度输入序列的PyTorch RNN梯度非常小

    我的目标是对句子进行多类分类 . 我的RNN(LSTM或GRU)的输入是可变长度序列的批量输入(使用Glove嵌入进行索引) . 此输入右侧用零填充 . 我的GRU RNN重新定义的转发是: def last_timestep(self, unpacked, lengths): # Index of the last output for each sequence idx = (...
  • 1 votes
     answers
     views

    Tensorflow seq2seq

    tensorflow的api doc的tf.contrib.legacy_seq2seq.basic_rnn_seq2seq说: (outputs, states) = basic_rnn_seq2seq( encoder_inputs, decoder_inputs, cell, dtype=tf.float32, scope=None ) 哪里,enc...
  • 0 votes
     answers
     views

    Tensorflow形状推断静态RNN编译器错误

    我正在研究针对手机摄像头图像优化的OCR软件 . 目前,每个300 x 1000 x 3(RGB)图像被重新格式化为900 x 1000 numpy阵列 . 我有一个更复杂的模型架构的计划,但是现在我只想让基线工作 . 我想通过在我生成的数据上训练静态RNN来开始 . 形式上,我在每个时间步t输入n_t达T个时间步,其中n_t是900矢量而T = 1000(类似于从左到右读取整个图像) . 以下是...
  • 5 votes
     answers
     views

    使用Tensorflow中的GRU将先前时间步长的渐变到当前时间步长

    我在tensorflow中有以下模型: def output_layer(input_layer, num_labels): ''' :param input_layer: 2D tensor :param num_labels: int. How many output labels in total? (10 for cifar10 and 100 for cifar1...
  • 2 votes
     answers
     views

    在张量流中堆叠LSTM层/单元

    我试图在TF中堆叠LSTM细胞,这就是我所拥有的: for layer in xrange(args.num_layers): cell_fw = tf.contrib.rnn.LSTMCell(args.hidden_size, initializer=tf.orthogonal_initializer()) ...
  • 1 votes
     answers
     views

    使用Keras进行无分段手写文本识别

    我目前正在开发一个无分段手写文本识别应用程序 . 因此,从输入文档中提取文本行,然后应该识别该文本行 . 出于开发目的,我使用IAM Handwriting Database . 它提供文本行图像以及相应的ASCII文本 . 为了表彰,我调整了论文“An End-to-End Trainable Neural Network for Image-based Sequence Recognition...
  • 3 votes
     answers
     views

    Tensorflow lstm用于情绪分析而不是学习 . 更新

    更新: 我正在为我的最终项目 Build 一个神经网络,我需要一些帮助 . 我正在尝试 Build 一个rnn来对西班牙文本进行情绪分析 . 我有大约200,000个带标签的推文,我使用带有西班牙语嵌入的word2vec对它们进行了矢量化 Dataset & Vectorization: 我删除了重复项并将数据集拆分为训练和测试集 . 向量化时应用填充,未知和句末标记结束 . ...
  • 3 votes
     answers
     views

    在R中使用RNN(Keras)的时间序列预测

    我正在使用R方法(fitting RNNs to time series data)跟踪Chollet的深度学习,以便拟合RNN进行时间序列预测 . model <- keras_model_sequential() %>% layer_gru(units = 32, dropout = 0.1, recurrent_dropo...
  • 1 votes
     answers
     views

    非常简单的RNN不会学习琐碎的功能

    我对TensorFlow很新,我过去几周一直在学习,但这是我的第一个RNN . 我的目的是预测一个非常简单的函数的下一个值,在这种情况下是一条线 . 我预计损失将很快降至0,预测将变得准确 . 然而,无论如何,损失似乎毫无意义,它基本上跟随任何数据波动(在这种情况下,一条线,它上升和上升) . 我正在发布整个代码(简短和基本的)因为我认为我要么缺少一些非常微不足道的东西,要么我在这里误解了一些关键...
  • 3 votes
     answers
     views

    Keras RNN(R)文本生成字级模型

    我一直在研究字符级文本生成的例子:https://keras.rstudio.com/articles/examples/lstm_text_generation.html 我无法将此示例扩展到字级模型 . 见下面的代表 library(keras) library(readr) library(stringr) library(purrr) library(tokenizers) # Para...
  • 1 votes
     answers
     views

    张量流连续文本序列到序列 . 为何批量?

    我正在构建一个序列到序列的莎士比亚预测器,并查看它似乎以50个字符为一组进行批处理的示例代码 . 我有点困惑 . 如果文本是连续的并且您正在处理50个字符的块,那么这肯定意味着您只是根据第50个字符后面的下一个预期字符计算损失,并且该模型从未接受过下一个预期字符的训练其他49个字符 . 换句话说,如果你有1000个字符,20个50个字符,那么它只会被教导预测20个不同的字符 . 这些批次不应该在每...
  • 0 votes
     answers
     views

    如何为RNN模型选择标签/目标?

    在训练角色RNN时,如果我们有一个输入X =(x_1,x_2,...,x_t),我们将其分为两部分:X_train =(x_1,x_2,...,x_(t-1)) ,y_train =(x_2,x_3,...,x_t) . 我们为什么要这样做?为什么不设置y_train =(x_(t 1)),即我们想要预测的下一个字符? 我正在尝试用RNN预测其他时间序列数据,这让我很困惑如何为模型选择标签/目标 ...
  • 2 votes
     answers
     views

    Tensorflow Stacked GRU Cell

    我正在尝试在张量流中实现具有MultiRNNCell和GRUCell的堆叠RNN . 从GRUCell的默认实现可以看出,GRUCell的“输出”和“状态”是相同的: class GRUCell(RNNCell) ... def call(self, inputs, state): ... new_h = u * state + (1 - u) * c return...
  • 1 votes
     answers
     views

    tf.zeros vs tf.placeholder作为RNN初始状态

    Tensorflow新手在这里!我知道Variables会随着时间的推移进行培训,占位符会使用不随模型训练而变化的输入数据(如输入图像和这些图像的类标签) . 我正在尝试使用Tensorflow实现RNN的前向传播,并想知道我应该保存RNN小区输出的类型 . 在numpy RNN实现中,它使用 hiddenStates = np.zeros((T, self.hidden_dim)) #T is ...
  • 2 votes
     answers
     views

    如何使用可变大小的输入进行训练?

    这个问题相当抽象,不一定与张量流或keras有关 . 假设您想训练语言模型,并且您希望为LSTM使用不同大小的输入 . 特别是,我正在关注这篇论文:https://www.researchgate.net/publication/317379370_A_Neural_Language_Model_for_Query_Auto-Completion . 除其他外,作者使用字嵌入和字符的单热编码 . ...
  • 0 votes
     answers
     views

    在动态rnn中填充0个向量的批处理

    我有一个预测任务,使用可变的输入数据序列 . 直接使用动态rnn会遇到根据这篇文章拆分输出的麻烦: Using a variable for num_splits for tf.split() 因此,我想知道是否可以填充整批序列以使所有示例具有相同数量的序列,然后在 tf.nn.dynamic_rnn tf.nn.dynamic_rnn 参数中为填充的序列批次提供0长度 . 这会有用吗?
  • 2 votes
     answers
     views

    Tensorflow:循环神经网络批量训练

    我正在尝试在Tensorflow中实现RNN . 我正在编写自己的函数,而不是使用RNN单元来练习 . 问题是序列标记,输入大小是[32,48,900],其中32是批量大小,48是时间步长,900是词汇大小,这是一个热编码的向量 . 输出为[32,48,145],其中前两个维度与输入相同,但最后一个维度是输出词汇量大小(一个热点) . 基本上这是一个NLP标记问题 . 我收到以下错误: Inva...
  • 0 votes
     answers
     views

    用seq2seq加速Beam Search

    我有一个完全工作的seq2seq注意模型与光束搜索,它确实提供了改进的结果 . 但是推理需要> 1分钟(批量大小1024),k = 5(k是我的假设),因为它们都没有并行化 . 一切都是一次发生一次 . Task (simplified)目标是句子翻译,15个字朗A到15个字郎B. 编码器是一个RNN,它接收15个单词的句子并对其进行编码,给出[timetep,512]矩阵以及最终的隐藏...
  • 0 votes
     answers
     views

    没有单热编码的Keras RNN实现

    我有一个关于在Keras中实现RNN的初学者问题,但令人惊讶的是我无法在任何地方找到一个简单的解决方案: 我希望实现一个RNN,它在给定一系列输入向量的情况下预测一个新的向量 . 问题是我在网上找到的每个例子(例如,Keras博客上的this one)都使用了输入的单热编码表示 . 我的输入不使用固定的词汇表,所以我不能做一个热门的编码 . So my question is, can someo...
  • 0 votes
     answers
     views

    RNN实施

    我将使用Pytorch实现RNN . 但是,在此之前,我在理解问题中提到的字符级单热编码方面遇到了一些困难 . 请在下面找到问题 选择您希望神经网络学习的文本,但请记住,您的数据集必须非常大才能学习结构! RNN已经成功地接受了高度多样化的文本(小说,歌词,Linux内核等)的培训,因此您可以获得创造性 . 作为一个简单的选择,古腾堡书籍是免费书籍的来源,您可以下载.txt格式的完整小说 . ...
  • 1 votes
     answers
     views

    无状态LSTM存在的意义何在?

    LSTM的主要目的是利用其内存属性 . 基于这一点,无状态LSTM的存在意义何在?我们不是通过这样做将它“转换”成一个简单的NN吗? 换句话说,LSTM的无状态使用是否旨在模拟输入数据中的序列(窗口) - 如果我们在keras中的拟合层中应用 shuffle = False (例如,对于10个时间步长的窗口捕获10个之间的任何模式) - 字符)?如果是,为什么我们不转换初始输入数据以匹配检查中的序...
  • 0 votes
     answers
     views

    RNN无法学习积分函数

    为了研究深度学习,RNN,LSTM等我试图使RNN适合整合功能 . 我把0到1的随机信号作为RNN的输入,并通过-0.5输入信号偏置成为积分,使0:1之间的积分限制并作为RNN目标学习 . Blue - random input, orange - integrated input 所以我的时间序列只有一个输入(随机)和一个输出(输入的有限积分),我希望RNN通过输入预测输出 . 我使用了Pyt...
  • 0 votes
     answers
     views

    如何用RNN / LSTM预测事件序列?

    我有一个连续生成事件序列的系统,事件序列如下所示在json中 ... {'event_id':1001, timestamp:ts1, attr1:numerical_val1, attr2:categorical_val2, etc...} {'event_id':1003, timestamp:ts2, attr1:numerical_val1, attr3:numerical_val3, a...
  • 0 votes
     answers
     views

    LSTM批量大小和序列长度如何影响内存

    我有关于批量大小和序列长度的问题 . 假设我有10个不同的独立时间序列,每个时间序列长度为100 . 5是一个人从事一项活动,另外5人是从事另一项活动的人 . 我想创建一个LSTM,它能够记住每个序列中第一个样本的序列,并将我输入的测试样本分类为一个或另一个 . 现在,第一次尝试,假设我可以输入长度为100的测试样本 . 我该怎么做?我会创建一个LSTM,然后一次性输入形状[10,100,1]的数...
  • 0 votes
     answers
     views

    LSTM序列长度

    向大家致以问候! 我想询问 general 中是否有 optimal sequence length of a LSTM network ,或 time series prediction 问题? 我读到了非常长的RNN网络所遇到的问题,而LSTM试图在一定程度上解决这个问题并取得了成功 . 我还听说过使用LSTM和RNN处理非常大的序列的技术,例如:截断序列,汇总序列,截断反向传播,甚至使用编码...
  • 0 votes
     answers
     views

    如何在简单的BasicRNN模型中处理可变长度输出序列?

    我正在尝试使用不同的输入/输出大小在tensorflow中运行一个简单的 BasicRNN model . 输入的形状应为 [batch_size, 50, 2] ,输出的形状应为 [batch_size, 75, 2] . 在完成下面相同形状(in_length = out_length)的示例之后,我尝试将sequence_length参数添加到dynamic_rnn以预测更大的输出序列,...
  • 0 votes
     answers
     views

    RNN / LSTM深度学习模型?

    我正在尝试为二进制分类0或1构建RNN / LSTM模型 我的数据集的样本(患者编号,磨时间/秒,X Y和Z的归一化,峰度,偏斜,俯仰,滚动和偏航,标签) . 1,15,-0.248010047716,0.00378335508419,-0.0152548459993,-86.3738760481,0.872322164158,-3.51314800063,0 1,31,-0.248010047...
  • 1 votes
     answers
     views

    将tensorflow dynamic_rnn的输出馈送到后续层

    我已经开始在tensorflow中使用RNN,我得到了一般原则,但实现的某些方面并不十分清楚 . 我的理解:假设我正在训练一个序列到序列的网络,其中输入的大小与输出的大小相同(可能类似于在每个时间步长预测一段文本中的下一个字符) . 我的重复层使用LSTM单元,之后我想要一个完全连接的层来为预测添加更多深度 . 在静态RNN中,按照TF约定,您应该在时间维度上将输入数据取消堆叠,并将其作为列表提供...
  • 0 votes
     answers
     views

    tensorflow feed cnn输出到static_rnn得到错误:输入必须是序列

    我正在尝试制作我的模型,首先是两层cnn,然后是一层rnn,但是当我使用rnn输出到rnn时 . 它显示 TypeError: inputs must be a sequence 我打印了我的辍学形状,它是[1,1024,]但我不是't know why it isn' t序列,但我搜索doc找到以下 (我使用static_rnn函数) inputs:输入的长度为T的列表,每个都是形状张量[ba...
  • 4 votes
     answers
     views

    张量流中LSTM的多变量输入

    我在TENSorflow下试图用多个输入序列(多变量)实现LSTM时遇到了一些疑问 . 我用这种方式定义了LSTM: def LSTM(x): x = tf.reshape(x, [-1, input_length]) x = tf.split(x, input_length, 1) rnn_cell = rnn.MultiRNNCell([rnn.BasicLSTMCell(n_hidden)...

热门问题