-
1 votesanswersviews
RNN语言模型(TensorFlow)的输入是什么?
我想在TensorFlow中构建一个递归神经网络(RNN)来预测一系列单词中的下一个单词 . 我看过几个教程,例如TensorFlow之一 . 我知道训练文本中的每个单词都映射到整数索引 . 但是我仍然有一些关于输入的内容: 网络经过批量培训,例如同时有128个例子 . 假设我们的词汇量中有10,000个单词 . 网络的输入是大小(128,sequence_length)或单热编码张量(128... -
0 votesanswersviews
张量流中的字符级双向语言模型
灵感来自Andrej Karpathy Char-RNN,有一个关于char-rnn sherjilozair/char-rnn-tensorflow: Multi-layer Recurrent Neural Networks (LSTM, RNN) for character-level language models in Python using Tensorflow的Tensorflow... -
1 votesanswersviews
Keras LSTM / GRU语言模型的输入形状
我正在尝试在Keras的单词级别训练语言模型 . 我有我的X和Y,都有形状(90582L,517L) 当我尝试适合这个模型时: print('Build model...') model = Sequential() model.add(GRU(512, return_sequences=True, input_shape=(90582, 517))) model.add(Dropout(0.2)... -
2 votesanswersviews
检查输入时Keras形状错误
我正在尝试训练一个简单的MLP模型,该模型将输入问题(使用300D字嵌入)和使用预训练VGG16模型提取的图像特征映射到固定长度的特征向量 . 但是,我无法弄清楚如何解决下面提到的错误 . 这是我正在尝试运行的代码: parser = argparse.ArgumentParser() parser.add_argument('-num_hidden_units', type=int, defau... -
2 votesanswersviews
从lm_1b训练模型中提取单词/句子概率
我已经成功下载了使用CNN-LSTM训练的1B单词语言模型(https://github.com/tensorflow/models/tree/master/research/lm_1b),我希望能够输入句子或部分句子来获得句子中每个后续单词的概率 . 例如,如果我有一个句子,如“说动物的动物”,我想知道下一个词是“woof”与“meow”的概率 . 我知道运行以下命令会生成LSTM嵌入: baz... -
0 votesanswersviews
如何规范不同长度句子中单词的概率?
假设我们有一个RNN模型,它输出在语料库上训练的给定上下文(或没有上下文)的单词的概率 . 我们可以将序列中每个单词的概率链接起来,以获得句子本身的整体概率 . 但是,因为我们正在进行链接,所以句子的概率(或可能性)随着长度的增加而下降 . 即使我们使用日志概率,情况也是如此 . 无论如何我们可以将这些概率标准化吗?这是我在构建语言模型时面临的一个有趣的子问题 . 我有一个900万句话的语料库,长... -
0 votesanswersviews
如何在Tensorflow中运行自定义seq2seq学习(使用预先计算的字嵌入)编码器解码器?
我需要在Tensorflow中运行编码器 - 解码器模型 . 我看到使用可用的API basic_rnn_seq2seq(encoder_input_data, decoder_input_data, lstm_cell) 等,可以创建编码器 - 解码器系统 . 如何在这样的模型中输入word2vec这样的嵌入?我知道我们可以嵌入查找但是根据API encoder_input_data 是... -
0 votesanswersviews
Tensorflow:递归神经网络训练对及其对损失函数的影响
我正在寻找RNN语言模型的代码 . 我很困惑 1) 如何构建训练对(x,y)并随后 2) 如何计算损失 . 该代码借鉴了Tensorflow RNN教程( reader 模块) . 在读取器模块中,定义了生成器ptb_iterator . 它根据批量大小和您希望RNN的步骤数将数据作为一个序列和 yields x,y对接收 . 最好首先看一下整个定义,但困惑我的部分是: for i in ran... -
2 votesanswersviews
测试精度始终超过99%
我正在尝试使用theano / keras中的LSTM实现语言模型 . 我的网络运行良好,我也看到训练损失减少但测试精度始终高于99%,即使我不长时间训练我的网络 . 我使用了word2vec向量并在嵌入层中嵌入了权重 . 我的网络看起来像: model = Graph() model.add_input(name='input', input_shape=(n_train,), dtype=... -
1 votesanswersviews
en_vectors_web_lg和Glove向量(spaCy)之间的差异
https://spacy.io/models/en#en_vectors_web_lg表示该模型包含1.1m键,但https://nlp.stanford.edu/projects/glove/表示Glove向量包含2.2M词汇 我可以知道哪些词汇丢失了吗? 非常感谢你 .