-
2 votesanswersviews
NLTK:调整LinearSVC分类器的准确度? - 寻找更好的方法/建议
Problem/Main objective/TLDR: 训练一个分类器,然后给它一个随机的评论并获得相应的预测评论评级(星数从1到5) - 只有60%的准确率! :( 我有一个大型数据集,有大约48000个技术产品评论(来自许多不同的作者和来自不同的产品 - 这里不是那么重要(?))和相应的评级(1到5星)我在每个 class 中随机选择了一些评论: 1星级:173条评论(因为有173条评论... -
0 votesanswersviews
使用LIBSVM进行分类的准确率为100% - 可能出现什么问题?
我正在 Build 一个使用LIBSVM对恶性乳腺肿瘤进行分类的模型 . 这是我遵循的算法: 使用向后消除功能选择 . 使用网格搜索计算每组要素的C和gamma . 使用10倍交叉验证得出最佳的C和gamma . 使用上述步骤,找到最佳功能子集和最大精度 . 问题是我使用LIBSVM在80:20数据集上获得100%的准确率 . 我没有排除任何功能,我不是在训练和测试相同的数据 ... -
0 votesanswersviews
K-fold CV的变体,其中大小(test_set)> N / K.
我有一个二元分类问题,标签0和1(少数)有很大的不 balancer . 由于测试集的行数太少且标签为1,因此我进行了至少70-30或60-40的列车测试,因此仍然有重要的观察结果 . 由于我没有对Accuracy进行如此多的测量(由于类不 balancer ),而是更多关于Precision-Recall,因此这一点尤为重要,因为True Positives的一些差异非常重要 . 在Pytho... -
4 votesanswersviews
如何在Matlab中使用训练好的神经网络进行实际系统的分类
我在包含语音特征和加速度计测量的数据集上使用Matlab神经网络工具箱训练了前馈神经网络 . Targetset包含两个数据集目标类:0和1.培训,验证和性能都很好,我已经为这个网络生成了代码 . 现在我需要实时使用这个神经网络来识别出现时的模式,并在我针对之前训练过的NN测试新数据集时生成0或1 . 但是当我发出命令时: c = sim(net, j) 其中“j”是新数据集[24x11];相... -
1 votesanswersviews
sagemaker的线性学习器能用于多类分类吗?
我正在aws Sagemaker上构建一个多类分类器,并且很乐意使用预定义的linearlearner算法进行分类 . -
-3 votesanswersviews
亚马逊SageMaker推荐功能
有这个例子 https://medium.com/@julsimon/building-a-movie-recommender-with-factorization-machines-on-amazon-sagemaker-cedbfc8c93d8 模型返回您要求的电影的“得分”,以便您可以推荐它 . 是否可以为特定用户返回前10部电影? 它可以使用Amazon EMR(例如https://aws... -
2 votesanswersviews
在训练期间观看SageMaker
我正在使用Amazon SageMaker来训练包含大量数据的模型 . 这需要很多时间 - 几小时甚至几天 . 在此期间,我希望能够查询培训师并查看其当前状态,尤其是: 它已经完成了多少次迭代,以及它还需要做多少次迭代? (训练算法是深度学习 - 它基于迭代) . 完成培训需要多长时间? 理想情况下,我想使用当前迭代的模型对测试样本进行分类,以查看其当前性能 . 一种方法是明确告诉... -
0 votesanswersviews
AWS Sagemaker:可以修改现有的train_image演示吗?
我在AWS Sagemaker上尝试演示“DeepAR-Electricity.ipynb” . 但是在运行“estimator.fit”进行训练之后,我只能在每个时代得到avg_epoch_loss的日志,由一些我找不到的函数打印出来 . 如何绘制训练和验证损失曲线? 可以修改现有的train_image演示吗?如果不是,如何绘制训练和验证损失曲线?如果是,如何访问源培训功能? -
4 votesanswersviews
卷积网络的训练方法是否仍被称为深度学习?
在诸如ImageNet Classi fi cation with Deep Convolutional Neural Networks等论文中 http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf 训练方法似乎是随机梯度下降的基本反向传播 . 尽管CNN是深度神经网络的一部分,但纯粹是因为存在大量隐藏层?这是否意味着这里的backprop属于深度... -
1 votesanswersviews
在Imagenet 2011上训练的深度卷积NN获得低精度
我已经下载了Imagenet2011数据集,并尝试使用here指令在其上训练Caffe imagenet网络 . 我使用大约500K图像进行训练,使用70K图像进行验证 . 我还下载了ILSVRC 2012验证集进行实验 . 结果如下: On ILSVRC 2012 official validation set: 我的网络:准确度为46%,原始Caffe Imagenet网络:准确率为56% .... -
1 votesanswersviews
基于深度学习的图像分类器是否应包括否定类
我正在构建一个类似于alexnet(https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks)的图像分类器 . 我有6个类别[人,汽车,自行车,动物,水上飞机,船] . 所以现在,如果我给出一个不属于上述类的对象,它将被分类为具有一定概率的任一类 . 为了提高准... -
1 votesanswersviews
卷积神经网络(CNN)的贪婪算法
我有一个关于安德鲁霍华德“基于深度卷积神经网络的图像分类的一些改进”的具体问题 . 在3.3节的论文中,他描述了使用简单的贪婪算法将预测数量从90减少到10,从最佳预测开始 . 您如何确定哪个图像裁剪将产生最佳预测?我的猜测是我们决定在验证集中输出10个最佳预测的10种最佳作物,并在后续预测中使用这10种作物?或者只是在预测期间发生的任何10种随机作物? -
2 votesanswersviews
如何学习马尔可夫决策过程中的奖励功能
在Q-learning期间更新R(s)功能的适当方法是什么?例如,假设代理人五次访问状态s1,并获得奖励[0,0,1,1,0] . 我应该计算平均奖励,例如R(s1)= sum([0,0,1,1,0])/ 5?或者我应该使用移动平均线来为该州最近收到的奖励值提供更大的权重吗?我读过的关于Q学习的大多数描述都将R(s)视为某种常数,并且似乎永远不会涵盖随着经验的积累你如何随着时间的推移学习这个 Va... -
3 votesanswersviews
Q学习:改变环境后重新学习
我已经在一个大小(n x n)的网格上实现了Q学习,中间只有一个奖励100 . 代理人通过以下机构学习1000个历元以达到目标:他以概率0.8选择具有最高状态 - 动作 - 值的移动并选择随机移动0.2 . 移动后,状态动作值由Q学习规则更新 . 现在我进行了以下实验:除了底部的邻居之外,目标旁边的所有字段都获得-100的奖励 . 在学习了1000个时代之后,代理人明显避免走向最高位并且最频繁地从... -
1 votesanswersviews
MDP和强化学习 - VI,PI和Q学习算法的收敛性比较
我已经使用python实现了VI(Value Iteration),PI(Policy Iteration)和QLearning算法 . 比较结果后,我发现了一些东西 . VI和PI算法汇聚于相同的实用程序和策略 . With same parameters, QLearning algorithm converge to different utilities, but same poli... -
0 votesanswersviews
Q学习收敛和局部最优问题
我是强化学习(RL)和特别是Q学习的新手 . 我有一组20个州和9个行动 . 我的目标是从一些随机状态开始,通过执行操作以最短的步数到达最终的第20个状态 . 我正在尝试使用Q-learning来解决这个问题 . states: [20,22,24,....,40,44 ......,50 .... 60] 20个州actions: [( - ,),( - ,0),( - , - )........ -
0 votesanswersviews
我可以将渐变添加到损失函数中吗?
我想写一个自定义损失函数对keras中的渐变应用约束 . 例如l2正则化 . def Custom_loss(model,X,y): def loss(y_true,y_pred): return K.categorical_crossentropy(y_true, y_pred) + l2(get_gradients(model,X,y) ... -
2 votesanswersviews
Keras:预计有3个维度,但是有阵列形状 - 密集模型
我想基于使用TfidfVectorizer的矢量化单词进行多标签分类(20个不同的输出标签) . 我有39974行,每行包含2739项(零或1) . 我想使用Keras模型对这些数据进行分类,该模型将包含1个隐藏层(约20个激活='relu'的节点)和输出层等于20个可能的输出值(激活='softmax'以选择最佳拟合) . 到目前为止,这是我的代码: model = Sequential() m... -
2 votesanswersviews
Keras:期望activation_3有形状(None,3)但是有形状的数组(5708,1)
我不想用Keras训练一个简单的多层感知器 . 我的输入(x_train)是np.array,其中每个数据点由300维向量表示 . 我的输出应该是0,1或2类 . 形状:x_train:(5708,300)y_train:(5708,)形状:(300,) shape = x_train[0].shape model = Sequential() model.add(Dense(32, input_... -
0 votesanswersviews
检查输入时出错:期望dense_input具有形状(21,)但是得到了具有形状的数组(1,)
如何修复输入数组以满足输入形状? 我试图转置输入数组,如here所述,但错误是相同的 . ValueError:检查输入时出错:期望的dense_input具有形状(21,)但是具有形状的数组(1,) import tensorflow as tf import numpy as np model = tf.keras.models.Sequential([ tf.keras.layers.... -
0 votesanswersviews
在R Party Package中编码多变量响应
我希望使用R中的party包进行多变量预测(下面的Party包文档) http://cran.r-project.org/web/packages/party/party.pdf 但是,我无法弄清楚如何进行多变量预测(多个响应变量) . 它说它可以做到,我试试这个: f <-cbind(A,B,C~shopping_pt+n_A_0) model_1 <- ctree(f, data... -
0 votesanswersviews
Azure ML Studio - 如何使用经过培训的模型对新数据进行评分?
我有一个Azure ML Studio实验,它成功地训练模型并在每个观察中输出得分概率 . 我需要一种方法来重用经过训练的模型并在新实验中对新数据进行评分 . 我找不到任何关于此的材料,我能看到的最接近的是创建Web服务 . 任何援助或线索将不胜感激 . 再一次 - 我想要做的是拥有一个新的数据集,并根据训练的模型对其进行评分(逻辑回归) . -
9 votesanswersviews
连体网络输出
我正在尝试在caffe中实现一个暹罗网络,它由两个不共享权重的图像网组成 . 所以我基本上要做的是给每个网络一个图像,最后试着找出它们之间的相似距离,下面是我的原型 . 所以我的主要问题是我应该如何设置“num_output”呢?我的训练只有2个课程,0个不同,他们不相同,1个是相似的 . name: "Siamese_ImageNet" layers { name: &q... -
1 votesanswersviews
用于从卷积神经网络生成的损失函数(TensorFlow)
我想创建一个卷积网络,然后是一个用于视频生成的RNN(序列中的下一个图像) . 如何为两个网络指定丢失功能?如果我的网络学到的唯一内容是如何在一系列图像中生成下一个图像,我没有为CNN和RNN单独的丢失功能 . 如果我联合训练这两个网络,(甚至可能用TF?),那么这对训练的影响会不会很大?在这种情况下如何指定损失函数的任何想法? -
0 votesanswersviews
卷积神经网络(CNN)中的训练和验证精度突然下降
我正在训练卷积神经网络(CNN),我在MNIST的X迭代后经历了训练和验证准确性的显着下降: X似乎取决于学习率 . 修改丢失似乎对这种现象没有任何影响 . 我做了较低报告的测试(每100批报告)并注意到掉落发生得非常快 . 跌落后准确度无法恢复 . training_accuracy / validation_accuracy => 1.0000 / 1.0000 for step 100... -
1 votesanswersviews
隐马尔可夫模型蟒蛇
我有一个粒子随时间的位置的时间序列,我想用这个数据估计两个HMM的模型参数(一个用于x轴,另一个用于y轴) . 我正在使用hmmlearn库,但是,我不清楚我应该如何处理 . 在本教程中,它指出这是使用该库的第三种方式,但是,当我使用下面的代码时: remodel = hmm.GaussianHMM(n_components=3, covariance_type="full",... -
0 votesanswersviews
HMM(隐马尔可夫模型)的准确性如何受到状态数的影响?
对于DHMM(离散隐马尔可夫模型),精度通常随着状态数的增加而增加,但是我无法验证这一点,因为随着状态数的增加,我的准确度正在降低 . 有人可以解释一下,在这里我已经完成了N = 2,3,5和8的实验 . 我已经参考了这个link,但无法解决我的问题 . -
0 votesanswersviews
训练集的平均误差等于测试集的平均误差?
我正在针对图像分类问题培训深度网络(GoogleNet) . 我有一个大约7300个图像的数据集,仅在2个类别中标注 . 我按照这些比例将我的训练和训练集分开:0.66 / 0.33 . 在训练期间,我计算训练集和测试集上的平均误差,以了解它是如何演变的 . 问题是这两个值总是相等的(或者是接近的) . 所以也许这不是问题,但我没想到会发生这种情况 . 由于我正在训练我的训练集,我预计我的训练集上... -
13 votesanswersviews
如何使用Tensorflow Optimizer而不重新计算在每次迭代后返回控制的强化学习程序中的激活?
编辑(1/3/16):corresponding github issue 我正在使用Tensorflow(Python接口)来实现一个q-learning代理,其函数逼近使用随机梯度下降进行训练 . 在实验的每次迭代中,调用代理中的步骤函数,其基于新的奖励和激活来更新近似的参数,然后选择要执行的新动作 . 这是问题(加强学习术语): 代理计算其状态 - 操作值预测以选择操作 . 然后控制... -
3 votesanswersviews
Kafka流的最佳实践
我们有一个用python编写的预测服务来提供机器学习服务,你发送一组数据,它会给出异常检测或预测等等 . 我想使用Kafka流来处理实时数据 . 有两种方法可供选择: Kafka流作业只完成 ETL 功能:加载数据,并进行简单转换并将数据保存到弹性搜索 . 然后启动计时器定期从ES加载数据并调用预测服务来计算并将结果保存回ES . Kafka流工作除了 ETL 之外还做了所有工作,当Kaf...