-
0 votesanswersviews
理解张量流中的logits和标签的描述
这就是tensorflow对 tf.nn.sparse_softmax_cross_entropy_with_logits 中的logits和label参数的看法 Args:_sentinel:用于防止位置参数 . 内部,不要使用 . 标签:形状张量[d_0,d_1,...,d_](其中r是标签和结果的等级)和dtype int32或int64 . 标签中的每个条目必须是[0,num_class... -
81 votesanswersviews
sparse_softmax_cross_entropy_with_logits和softmax_cross_entropy_with_logits有什么区别?
我最近遇到了tf.nn.sparse_softmax_cross_entropy_with_logits,我无法弄清楚与tf.nn.softmax_cross_entropy_with_logits的区别 . 使用 sparse_softmax_cross_entropy_with_logits 时,训练向量 y 的唯一区别是one-hot encoded? 阅读API,与 softmax_cro... -
2 votesanswersviews
使用Softmax进行二进制分类
我正在使用具有二进制交叉熵的Sigmoid激活函数来训练二元分类器,其提供大约98%的良好准确度 .当我使用softmax和categorical_crossentropy进行训练时,精度非常低(<40%) .我将binary_crossentropy的目标作为0和1的列表传递,例如; [0,1,1,1,0] . 知道为什么会这样吗? 这是我用于第二个分类器的模型: -
0 votesanswersviews
如何在keras中实现gumbel softmax
我_s70041_ s softmax输出到预训练的分类器 . 然而,该分类器使用Keras嵌入层,因此将原始softmax传递到分类器中不是一种选择 . 我以为我可以使用gumbel softmax来获得一个热门编码然后使用我在这里找到的OneHotEmbedding层(https://github.com/keras-team/keras/issues/2505)来解决这个问题 . Eric ... -
0 votesanswersviews
sparse_softmax_cross_entropy_with_logits结果比softmax_cross_entropy_with_logits差
我用tensorflow实现经典图像分类问题,我有9个类,首先我使用 softmax_cross_entropy_with_logits 作为分类器和训练网络,经过一些步骤后它给出了大约99%的训练精度, 然后用 sparse_softmax_cross_entropy_with_logits 测试同样的问题,这次它根本不收敛,(列车精度大约是0.10和0.20) 仅为了您的信息,对于 softm... -
0 votesanswersviews
精确度和val_acc在各个时代停滞不前
我构建了一个用于二进制文本分类的CNN模型,我的模型如下 . 作为参考,embedding_matrix包含预先训练的字矢量权重 . model = Sequential() model.add(Embedding(num_words, EMBEDDING_DIM, weights = [embedding_matrix], input_length=MAX_SEQUENCE_LENGTH, t... -
5 votesanswersviews
张量流的语义分割 - 损失函数中的ValueError(稀疏 - softmax)
所以,我正在 Build 一个完全卷积网络(FCN),基于Marvin Teichmann's tensorflow-fcn 我的输入图像数据暂时是750x750x3 RGB图像 . 在通过网络运行后,我使用shape [batch_size,750,750,2]的logits进行损失计算 . 这是一个二进制分类 - 我这里有2个类,[0,1]在我的标签中(形状[batch_sizex750x75... -
0 votesanswersviews
PySpark Softmax回归梯度体面
我有一个softmax文档分类器的实现,编写为spark应用程序 . 我有一套培训文件,一套培训文件的标签和一套测试文件 . 我的任务是使用在培训文档上训练的softmax分类器来预测测试文档的标签 . 我发现this是关于softmax回归和梯度体面过程的非常有用的教程 . 那是's what I'米的工作 . 训练数据是一个文件,每行文件一个文档 . 训练标签是一个文件,在文件的每一行上具有逗... -
1 votesanswersviews
如何在多类分类任务中校准神经网络输出层的阈值?
假设我们有 multi-class classification task with 3 classes : {芝士蛋糕,冰淇淋,苹果派} 鉴于我们有一个训练有素的神经网络,可以对随机厨师更喜欢的三种甜点中的哪一种进行分类 . 另外,假设 output layer consists of 3 neurons with softmax activation, such that each neuro... -
1 votesanswersviews
Keras - softmax功能的默认轴设置为Axis
我正在学习如何创建顺序模型 . 我有一个模特: *model = Sequential()* 然后我继续添加池化层和卷积层(这很好) . 但是在创建密集层时: *model.add(Dense(num_classes, activation = 'softmax'))* 返回的行: *tf.nn.softmax(x, axis=axis)* 因为未定义轴而导致错误 . Keras和Te... -
0 votesanswersviews
如何使用tensorflow softmax_cross_entropy_with_logits对类不 balancer 进行缩放和重新规范化输出
我想缩放模型输出并重新规范化它以处理类不 balancer 问题 . 例如,如果我有10个标签输出 y_logits 及其softmax y_pred 和之前的 p ,则新输出应为: y_pred /= prior y_pred /= sum(y_pred) 问题是张量流中的 softmax_cross_entropy_with_logits 函数采用logits y_logits 而我需要... -
5 votesanswersviews
Softmax矩阵到0/1(OneHot)编码矩阵?
假设我有以下张量 t 作为softmax函数的输出: t = tf.constant(value=[[0.2,0.8], [0.6, 0.4]]) >> [ 0.2, 0.8] [ 0.6, 0.4] 现在我想将此矩阵 t 转换为类似于OneHot编码矩阵的矩阵: Y.eval() >> [ 0, 1] [ 1, 0] 我熟悉 c =... -
1 votesanswersviews
Tensorflow softmax函数返回单热编码数组
我有这段代码来计算我的convnet输出预测的softmax函数 . pred = conv_net(x, weights, biases, keep_prob, batchSize) softmax = tf.nn.softmax(pred) 我的预测数组是形状[batch_size,number_of_classes] = [128,6]这个数组的一个示例行是...... [-2.6950... -
0 votesanswersviews
更改MNIST Tensorflow的 class 数
嗨,我试图使用MNIST和softmax调整Tensorflow的初学者教程 . 在本教程中,您有10个clases(数字0-9) . 现在,使用不同的数据集(EMNIST),我有62个数字和字母类 . 我在原始模型中的模型是: x = tf.placeholder(tf.float32, [None, 784]) W = tf.Variable(tf.zeros([784, 10])) b = ... -
0 votesanswersviews
Tensorflow - 在训练的softmax分类模型上检测多个对象
我使用标准的SVHN裁剪数字数据集来生成一个模型,该模型分为10个可能的数字,测试集的准确度为89.89% . 继续,我想检测图像上的多个数字 . (例如汽车登记牌上的数字)我该怎么做呢?我是否需要重新训练模型以检测多个图像? #conv1 W_conv1 = weight_variable([5, 5, 1, 32]) b_conv1 = bias_variable([32]) x_image... -
1 votesanswersviews
Tensorflow - ValueError:无法提供形状值
我有19个输入整数功能 . 输出和标签是1或0.我从tensorflow website检查MNIST示例 . 我的代码在这里: validation_images, validation_labels, train_images, train_labels = ld.read_data_set() print "\n" print len(train_images[0]) p... -
0 votesanswersviews
使用`softmax_cross_entropy_with_logits()`和`seq2seq.sequence_loss()`
我有一个工作RNN使用 tf.contrib.seq2seq.sequence_loss() 的默认softmax丢失函数(我假设是 tf.nn.softmax() ),但我想改用 tf.nn.softmax_cross_entropy_with_logits() . 根据seq2seq.sequence_loss文档,可以使用 softmax_loss_function= 覆盖默认的丢失函数:... -
0 votesanswersviews
缩放sparse_softmax_cross_entropy_with_logits
如何缩放衰落来自 sparse_softmax_cross_entropy_with_logits 的渐变 . 例如,我试图除以128如下,但我发现错误: new_gradients = [(grad/128, var) for (grad, var) in gradients] TypeError: unsupported operand type(s) for /: 'IndexedSlic... -
2 votesanswersviews
三重态损失的 softmax 版本的梯度计算
我一直在尝试实现 Caffe 中描述的三元组损失的 softmax 版本,具体说明如下:Hoffer 和 Ailon,《使用三重态网络进行深度度量学习》,ICLR 2015。 我已经尝试过了,但是由于指数的 L2 不平方,因此我发现很难计算梯度。 有人可以在这里帮我吗? -
0 votesanswersviews
将 Logistic 回归损失函数转换为 Softmax
我目前有一个程序,该程序采用特征向量和分类,并将其应用于已知的权重向量,以使用 Logistic 回归生成损失梯度。这是该代码: double[] grad = new double[featureSize]; //dot product w*x double dot = 0; for (int j = 0; j < featureSize;... -
2 votesanswersviews
具有softmax激活的神经网络
编辑: 一个更尖锐的问题:在我的梯度下降中使用softmax的导数是什么? 这或多或少是一门课程的研究项目,我对NN的理解非常/非常有限,所以请耐心等待:) 我目前正在 Build 一个神经网络,试图检查输入数据集并输出每个分类的概率/可能性(有5种不同的分类) . 当然,所有输出节点的总和应该加起来为1 . 目前,我有两层,我设置隐藏层包含10个节点 . 我想出了两种不同类型的实现 用于... -
-1 votesanswersviews
在神经网络的实现中权重变为“NaN”
我正在尝试实现具有5个隐藏层的分类的神经网络,以及输出层中的softmax交叉熵 . 实现在JAVA中 . 为了优化,我使用了MiniBatch梯度下降(批量大小= 100,学习率= 0.01) 但是,经过几次迭代后,权重变为“NaN”,并且预测值对于每个测试用例都是相同的 . 无法调试此错误的来源 . 这是代码的github链接(带有测试/培训文件 . )https://github.com/a... -
1 votesanswersviews
使用softmax进行Keras强化训练
我正在研究的项目使用REINFORCE算法进行强化学习阶段 . 使用的模型具有最终的softmax激活层,因此使用负学习率作为负奖励的替代 . 我对这个过程有一些疑问,并且找不到很多关于使用负学习率的文献 . 加强学习是否与正负转换学习率有关?如果没有什么是更好的方法,摆脱softmax或有keras一个不错的选择吗? 损失函数: def log_loss(y_true, y_pred): ... -
1 votesanswersviews
PyTorch softmax暗淡无光
softmax应适用于哪个尺寸? 这段代码: %reset -f import torch.nn as nn import numpy as np import torch my_softmax = nn.Softmax(dim=-1) mu, sigma = 0, 0.1 # mean and standard deviation train_dataset = [] image = [... -
3 votesanswersviews
是否具有适用于多标签分类的Softmax交叉熵?
如上所述here,交叉熵不是多标签分类的适当损失函数 . 我的问题是"is this fact true for cross entropy with softmax too?" . 如果是,它如何与文档的this part匹配 . 我应该提一下,我的问题的范围是cntk .