首页 文章
  • 0 votes
     answers
     views

    用于多个文件输入的张量流word2vec

    我正在尝试在一些内部数据集上训练word2vec skip-gram模型 . 我正在关注tensorflow word2vec_basic.py教程 . 数据集有句子,所以我修改了generate_batch函数并在csv文件中存储(批处理,标签) . 由于数据很大,这些文件被分成了部分文件 . 我需要更改代码的tf.session部分以适应这些多个文件 . 由于内存限制,我无法一次加载所有文件 ...
  • 2 votes
     answers
     views

    在Keras中使用word2vec和seq2seq模型

    我的目的是构建类似Q&A机器人的东西,可以根据用户的输入句子生成句子 . 我在gensim中使用预先训练过的word2vec来输入模型 .我的话是中文,但我认为word2vec并不重要 . 我首先把每个句子变成了一个3d数组 . 形状是 (sample_n,time_step,word_dim) x = [sentence_1, sentence_2, ... , sentence_n] sent...
  • 7 votes
     answers
     views

    内存Trie Implementation的高效数据结构

    我在python中实现了一个Trie . 直到现在我遇到了两种不同的方法来实现它: 使用数据成员的类Node(类似于C中的struct Node) - char - 存储字符is_end - 存储单词结尾(true或false)prefix_count - 存储具有当前前缀child的单词数 - 节点类型dict(存储其他节点,即26个字母) class Node(object): ...
  • 0 votes
     answers
     views

    使用隐藏事件语言模型预测隐藏事件的基础算法是什么?

    我'm modeling the punctuation prediction problem as arising from a hidden event model, and am trying to follow the algorithm described in Stolcke'篇论文Modeling the Prosody of Hidden Events for Improved W...
  • 1 votes
     answers
     views

    在Tensorflow中使用bucketing时,如何在Adam优化器中共享渐变和变量?

    所有, 我在seq2seq任务中使用了类似于bucketing的技术: # For different length in encoder and decoder model_map = {} for i in encoder_shape: for j in decoder_shape: with variable_scope.variable_scope(variable...
  • 0 votes
     answers
     views

    删除文本Pandas系列中的URL和转换特殊字符

    我有一个数据集 . 它是数据碎片,非常混乱,它包含ASCII码,HTML和URL . 我试图在它上面运行'langdetect',以便我按语言分开 . 但是,它不断抛出我认为是由数据集中的HTML和特殊字符等引起的错误 . 当我执行NLP时,我需要保留/恢复文本的标点符号 . 我有两个问题,我正在努力解决: 如何在pandas系列中转换ASCII代码,这些代码在抓取到关联的char期间出现,因...
  • 1 votes
     answers
     views

    用于可变长度输入序列的PyTorch RNN梯度非常小

    我的目标是对句子进行多类分类 . 我的RNN(LSTM或GRU)的输入是可变长度序列的批量输入(使用Glove嵌入进行索引) . 此输入右侧用零填充 . 我的GRU RNN重新定义的转发是: def last_timestep(self, unpacked, lengths): # Index of the last output for each sequence idx = (...
  • 1 votes
     answers
     views

    即使对于用于训练它的文件,libSVM也会给出非常不准确的预测

    这是交易 . 我正在尝试制作基于SVM的POS标记器 . SVM的特征向量是在格式转换器的帮助下创建的 . 现在这是我正在使用的培训文件的屏幕截图 . http://tinypic.com/r/n4fn2r/8 我有25个标签用于各种POS标签 . 当我使用java实现或命令行工具进行预测时,我得到以下结果 . http://tinypic.com/r/2dtw5ky/8 我已经尝试了所有可...
  • 2 votes
     answers
     views

    从Keras的3-d张量中收集2-d张量列表

    我有一个名为 main_decoder 形状的3-d Tensor (None,9,256) 我想提取9个形状的张量 (None,256) 我尝试过使用Keras gather ,以下是模式代码片段: for i in range(0,9): sub_decoder_input = Lambda(lambda main_decoder:gather(main_decoder,(i)),...
  • 0 votes
     answers
     views

    Keras LSTM go_backwards用法

    我有一个关于Keras LSTM模型层中go_backwards参数用法的问题 . 可以在此处找到此图层的文档:https://keras.io/layers/recurrent/#lstm . 问题1:如果我将“go_backwards”标志设置为True,我是否仍然在训练过程中“转发”输入数据 . 例如,如果英语输入句通常显示“我跌倒”,并且它的德语翻译为“Ich fiel”,我会向前馈送(“...
  • 0 votes
     answers
     views

    使用word2vec使用rnn进行单词预测

    我通过将经过预先训练的 word2vec 单词作为输入来训练网络 . 我想知道我是否可以使用 word2vec 目标字来计算错误成本 . 它似乎不起作用,我从未见过这样的例子或论文 . 是否可以使用word2vec作为计算错误成本的目标值?如果是这样,我应该使用什么样的成本函数?如果没有,请以数学方式解释原因 . 我该如何设置输入和目标?现在我正在使用如下的架构: input : word1, w...
  • 0 votes
     answers
     views

    顺序学习语言翻译的顺序,看不见的单词

    序列到序列学习是一种强大的语言翻译机制,特别是在特定情境的情况下在本地使用它 . 我正在关注this pytorch tutorial的任务 . 但是,该教程没有将数据拆分为培训和测试 . 您可能认为这不是什么大问题,只需将其分开,使用一个块进行培训,另一个进行测试 . 但事情并非那么简单 . 本质上,本教程在引导数据集时创建所看单词的索引 . 索引只是存储在字典中 . 这是在进入编码器RNN之前...
  • 0 votes
     answers
     views

    如何为RNN模型选择标签/目标?

    在训练角色RNN时,如果我们有一个输入X =(x_1,x_2,...,x_t),我们将其分为两部分:X_train =(x_1,x_2,...,x_(t-1)) ,y_train =(x_2,x_3,...,x_t) . 我们为什么要这样做?为什么不设置y_train =(x_(t 1)),即我们想要预测的下一个字符? 我正在尝试用RNN预测其他时间序列数据,这让我很困惑如何为模型选择标签/目标 ...
  • 1 votes
     answers
     views

    重新形成一批具有动态最大长度(张量流量)的张量

    在自然语言处理中,通常填充一批序列 . 这是填充功能 . def pad_sequences(sequences, pad_tok=0): """ Args: sequences: a generator of list or tuple pad_tok: the char to pad with Returns: a list of lis...
  • 0 votes
     answers
     views

    为什么我们需要在递归神经网络中微调字嵌入?

    在theano的关于RNN的教程中,最后一部分提到了这一点 我们通过在每次更新后对它们进行规范化,将单词嵌入保留在单位范围内: self.normalize = theano.function(inputs=[], updates={self.emb: ...
  • 1 votes
     answers
     views

    如何将RNN应用于序列到序列的NLP任务?

    我对NLP任务上的序列到序列RNN感到很困惑 . 以前,我已经实现了一些分类任务的神经模型 . 在这些任务中,模型将字嵌入作为输入,并在网络末端使用softmax层进行分类 . 但神经模型如何进行seq2seq任务呢?如果输入是字嵌入,那么神经模型的输出是什么?这些任务的考试包括问答,对话系统和机器翻译 .
  • 1 votes
     answers
     views

    尝试使用Tensorflow了解CNN的NLP教程

    我正在关注this tutorial以了解NLP中的CNN . 尽管我面前有代码,但仍有一些事情我不明白 . 我希望有人能在这里澄清一些事情 . 第一个相当小的事情是 TextCNN 对象的 sequence_length 参数 . 在github的例子中,这只是 56 ,我认为是训练数据中所有句子的最大长度 . 这意味着 self.input_x 是一个56维向量,它只包含每个单词的句子字典中...
  • 5 votes
     answers
     views

    如何正确使用keras掩膜层?

    Keras掩模层可用于处理RNN的可变长度序列训练 . 当我使用它们时,掩模层的准确度低于单批训练 . 我怀疑我没有正确使用遮罩层 . 我的目标是训练LSTM学习如何拼写单词 . 这些序列是不同的英语单词,用一个热表示法编码 . 下面是数据编码部分的代码: chars 是构成序列的所有字母的集合, mylist 是序列的列表, MAXLEN 是序列的最大长度 . char_indices = di...
  • 5 votes
     answers
     views

    Pyspark如何从word2vec单词嵌入中计算Doc2Vec?

    我有一个pyspark数据框,其中包含大约300k个唯一行的语料库,每个行都有一个“doc”,每个文档包含几个文本句子 . 在处理之后,我有每行/ doc的200维矢量化表示 . 我的NLP流程: 使用正则表达式udf删除标点符号 用nltk雪球udf词干 Pyspark Tokenizer Word2Vec(ml.feature.Word2Vec,vectorSize = 200...
  • 1 votes
     answers
     views

    如何提取用于Doc2Vec的单词

    我正在使用推文准备Doc2Vec模型 . 每条推文的单词数组都被视为一个单独的文档,标记为“SENT_1”,SENT_2“等 . taggeddocs = [] for index,i in enumerate(cleaned_tweets): if len(i) > 2: # Non empty tweets sentence = TaggedDocument(wo...
  • 11 votes
     answers
     views

    使用word2vec对类别中的单词进行分类

    BACKGROUND 我有一些带有一些样本数据的向量,每个向量都有一个类别名称(地点,颜色,名称) . ['john','jay','dan','nathan','bob'] -> 'Names' ['yellow', 'red','green'] -> 'Colors' ['tokyo','bejing','washington','mumbai'] -> 'Places' ...
  • 3 votes
     answers
     views

    使用RNN张量流语言模型来预测测试句子的概率

    我能够使用tensorflow tutorials训练语言模型,模型根据code given here保存为检查点文件 . save_path = saver.save(sess, "/tmp/model.epoch.%03d.ckpt" % (i + 1)) 现在我需要恢复检查点并在以下代码中使用它: def run_epoch(session, m, data, eval...
  • -3 votes
     answers
     views

    在深度学习模型的训练中,我用于输入的数据集中元素的连续顺序是否重要?

    更具体地说,我正在处理NLP问题,并在给定初始字序列的情况下训练LSTM进行单词预测 . 我的数据集是200k reddit评论 . 如果我 randomly feed the examples one at a time (允许重复输入)或者我是否在 sequence (不允许重复)中提供它们是否重要?
  • 2 votes
     answers
     views

    从lm_1b训练模型中提取单词/句子概率

    我已经成功下载了使用CNN-LSTM训练的1B单词语言模型(https://github.com/tensorflow/models/tree/master/research/lm_1b),我希望能够输入句子或部分句子来获得句子中每个后续单词的概率 . 例如,如果我有一个句子,如“说动物的动物”,我想知道下一个词是“woof”与“meow”的概率 . 我知道运行以下命令会生成LSTM嵌入: baz...
  • 3 votes
     answers
     views

    RNN的Tensorflow示例

    我试图在Tensorflow中实现基本的NLP任务,而不使用尽可能多的模块(仅用于学习) 我一直在尝试使用http://www.cnts.ua.ac.be/conll2000/chunking/中的数据实现词性标注器 我在使用前面的嵌入层从头开始实现RNN代码时遇到了一些困难,并且想知道是否有相同的示例和实现 . 我已经看到很多使用Theano和MNIST数据的例子,但是还没有能够在Tensorf...
  • 4 votes
     answers
     views

    如何构建LSTM神经网络进行分类

    我的数据在两个人之间有各种对话 . 每个句子都有某种类型的分类 . 我试图使用NLP网来对话的每个句子进行分类 . 我尝试了一个卷积网并得到了不错的结果(不是突破性的) . 我认为,由于这是一次来回的对话,而LSTM网可能会产生更好的结果,因为之前所说的可能会对后面的内容产生很大的影响 . 如果我遵循上面的结构,我会假设我做了多对多 . 我的数据看起来像 . X_train = [[senten...
  • 5 votes
     answers
     views

    使用Keras Tokenizer生成n-gram

    可以在Keras中使用n-gram吗? 例如,句子在X_train数据框中包含“句子”列 . 我以下列方式使用Keras的tokenizer: tokenizer = Tokenizer(lower=True, split=' ') tokenizer.fit_on_texts(X_train.sentences) X_train_tokenized = tokenizer.texts_to_se...
  • 0 votes
     answers
     views

    使用跳过 - 否定抽样和带有情绪评分的词语进行情绪分析

    我想使用skip-gram负抽样以无监督的学习方式对印尼语twitter消息进行情绪分析 . 这就是我打算这样做的方式: 得到推文 . 将所有这些文件放在一个文本文件中 . 执行学习过程以获得每个单词的向量表示 . 使用tf-idf获取文本中每个句子的句子向量 . 将已经具有情感值的单词(例如来自this list)与句子向量值组合以确定新(测试)推文的情绪 . 我的问题是:我可以用什么进一步的学...
  • 7 votes
     answers
     views

    只训练一些单词嵌入(Keras)

    在我的模型中,我使用GloVe预训练嵌入 . 我希望保持它们不可训练,以减少模型参数的数量并避免过度拟合 . 但是,我有一个特殊的符号,其嵌入我想训练 . 使用提供的嵌入层,我只能使用参数'trainable'以下列方式设置 all 嵌入的可训练性: embedding_layer = Embedding(voc_size, emb_dim, ...
  • 4 votes
     answers
     views

    为什么我们可以使用熵来衡量语言模型的质量?

    我正在阅读<Foundations of Statistical Natural Language Processing> . 它有关于信息熵与语言模型之间关系的以下陈述: ......这里的关键点是,如果模型捕获更多的语言结构,那么模型的熵应该更低 . 换句话说,我们可以起诉熵作为我们模型质量的衡量标准...... 但是这个例子怎么样: 假设我们有一台机器一个接一个地吐出2个字符...

热门问题