-
0 votesanswersviews
ValueError:无法为Tensor 'Placeholder:0'提供形状值(128,28,28),其形状为'(?, 784)'
我是Tensorflow和机器学习的新手,并使用Tensorflow和我的自定义输入数据尝试CNN . 但我收到下面的错误 . 数据或图像大小为28x28,带有15个标签 . 我没有在这个脚本或错误中得到numpy reshape的东西 . 非常感谢帮助 . import tensorflow as tf import os import skimage.data import numpy as... -
1 votesanswersviews
使用PCA - MATLAB降低尺寸
我正在尝试使用PCA降低训练集的维度 . 我遇到过两种方法 . [V,U,eigen]=pca(train_x); eigen_sum=0; for lamda=1:length(eigen) eigen_sum=eigen_sum+eigen(lamda,1); if(eigen_sum/sum(eigen)>=0.90) break; ... -
1 votesanswersviews
拆分数据集以测试和训练MATLAB [重复]
这个问题在这里已有答案: Matlab: How can I split my data matrix into two random subsets of column vectors while keeping the label information? 1回答 我想将一个非常大的数据集(超过一百万个观测值)拆分成一个测试和训练集 . 因为,您可以看到我已经设法在使用 divideran... -
0 votesanswersviews
如何使用特定指数将数据集划分为测试,验证和培训?
我有一个大约189000行的大型数据集,共有16列 . 我想把它分成80%的培训和20%的测试 . 数据集本身中的行被分成组,第一部分行与新闻相关,第二部分与体育相关,第三部分与宗教相关,最后一行是一般的 . 我无法将其直接拆分为80:20,因为大多数位于数据集下半部分的类将在训练中被遗漏 . 另外,我如何从这样的数据集中选择验证集? -
0 votesanswersviews
使用CVpartition MATLAB将单元阵列拆分为训练和测试
我希望你做得很好 . 我正在使用MATLAB . 我有一个包含我的数据的csv文件 . 我读取文件并将其转换为单元格数组 . 现在我需要将该数组中的行分区为训练和测试以进一步分类 . 我已经在单元格数组上直接尝试了cvpartion,但它一直在 "Grouping variable must be a vector or a character array “ 如果您有关于如何将行划分为... -
0 votesanswersviews
GradientBoostingTree在scikit-learn中使用软标签进行培训?
我正在重建一篇论文 . 他们训练 Gradient Boosting Regression Trees given the input X and soft targets y_s 以最小的均方误差得到最终输出y . 关于论文,他们使用scitkit-learn包实现了所有基于决策树的方法,没有任何修改 . 这就是我想要做的 . 如果你已经知道解决方案我会很高兴听到,否则这是我的想法:为简化假设我... -
0 votesanswersviews
卷积神经网络训练
我有一个关于卷积神经网络( CNN )训练的问题 . 我已经设法使用 tensorflow 训练网络,该网络接收输入图像(1600像素)并输出与之匹配的三个类别中的一个 . 使用受过训练的类的变化来测试网络可以获得良好的结果 . 然而;当我给它一个不同的-thourth-图像(不包含任何经过训练的3图像)时,它总是返回一个类的随机匹配 . 我的问题是,我如何训练网络来分类图像不属于三个训练图像中的... -
2 votesanswersviews
为什么不在火车数据集上优化超参数?
在开发神经网络时,通常会将训练数据划分为Train,Test和Holdout数据集(许多人分别称这些训练,验证和测试 . 相同的事物,不同的名称) . 许多人建议根据Test数据集中的性能选择超参数 . 我的问题是:为什么?为什么不在Train数据集中最大化超参数的性能,并在我们通过测试数据集中的性能下降检测过度拟合时停止训练超参数?由于Train通常大于Test,与训练测试数据集中的超参数相比,... -
2 votesanswersviews
Keras LSTM文本生成培训
我正在使用Keras处理字符级文本生成器 . 在浏览示例/教程时,我仍然不明白 . 训练数据(X)被分成长度为maxlen的半冗余序列,y是紧随该序列的字符 . 我知道这是为了提高效率,因为这意味着培训只会实现maxlen字符内的依赖关系 . 我正在努力理解为什么它在序列中完成 . 我认为LSTM / RNN是通过一次输入一个字符并将预测的下一个字符与实际的下一个字符进行比较来训练的 . 这看起来... -
0 votesanswersviews
如何以两个列表的形式测试和训练多个数据集?
我想在两个列表中创建一个训练和测试10个独立数据集的函数 . 以下是列表: blend_30_d<-list(desktop_30_1, desktop_30_2, desktop_30_3, desktop_30_4, desktop_30_5, desktop_30_6, desktop_30_7, desktop_30_8, desktop_30_9, desktop_30_10) ... -
0 votesanswersviews
加载.pb(Protobuf)文件并进行进一步培训(Tensorflow和Keras)
我用Keras创建了一个模型 . 所以我训练了它并生成了HDF5文件 . 我能够将这个HDF5文件转换为pb文件,这是Tensorflow的格式 . 如何使用Tensorflow代码加载此pb文件以进行进一步培训? 我做了一些研究,我意识到你可以通过加载.meta文件和.data文件来实现 . 但我找不到加载.pb文件并进行进一步培训的示例 我是Tensorflow和Keras的新手 . 需要一些... -
0 votesanswersviews
由于预处理数据而过度拟合
我需要一个帮助:我认为我在keras的模型过度拟合 . 我注意到,当我的模型运行时,损失值会降低,而val_loss会变高 . 也许我在代码的预处理部分犯了一个错误,请你看看,我真的很感激! def split_into_chunks(data, train, predict, step, scale=True): X, Y = [], [] for i in range(0, l... -
1 votesanswersviews
在插入符号中不重新采样的GAM方法会产生停止错误
我在lapply中编写了一个函数,以便为数据框内的响应变量向量中的每个元素拟合GAM(带样条) . 我选择使用 caret 来适应模型,而不是直接使用 mgcv 或 gam 包,因为我希望最终将我的数据拆分成列车/测试集以进行验证并使用各种重采样技术 . 现在,我只是将 trainControl 方法设置为'none',如下所示: # Set resampling method # tc &l... -
7 votesanswersviews
如何从图像目录中为暹罗网络创建CaffeDB培训数据
我需要一些帮助,用一个带有images和label-text-file的普通目录为暹罗CNN创建一个CaffeDB . 最好的将是一种蟒蛇方式 .问题不是遍历目录并制作图像对 . 我的问题更多的是从这些对中制作CaffeDB .到目前为止,我只使用convert_imageset从图像目录中创建CaffeDB .感谢帮助! -
3 votesanswersviews
Keras model.fit之间的区别仅使用batch_size并且仅使用steps_per_epoch
当我使用batch_size和steps_per_epoch参数运行model.fit时,我收到以下错误: ValueError: If steps_per_epoch is set, the `batch_size` must be None. 所以,从这个错误和下面的文档from keras Model(functional API) batch_size:整数或无 . 每个梯度更新的样本... -
1 votesanswersviews
训练精度增加,测试精度稳定
在文章之后训练卷积神经网络时,训练集的准确性增加太多而测试集的准确性稳定下来 . 下面是6400个训练样例的示例, randomly chosen at each epoch (因此可能会在前一个时期看到一些示例,有些可能是新的)和6400 same test examples . 对于更大的数据集(64000或100000个训练样例),训练准确度的提高甚至更加突然,在第三个时期达到98 . ... -
1 votesanswersviews
在ILSVRC2012数据集的培训期间,Tensorflow AlexNet准确度不会增加
我们一直在使用基于以下模型的tensorflow AlexNet实现 . https://github.com/SidHard/tfAlexNet 我们一直在尝试使用包含1000类图像的ILSVRC2012训练数据来训练模型 . 然而,在此训练期间,准确度几乎总是报告为零 . 在大约600次迭代之后,损失减少并最终趋于平稳(~7.xx) . 以下是1000次迭代的示例输出: lr 0.001 It... -
0 votesanswersviews
如何在Python中使用以前训练过的数据来获取新的测试数据
我在Python中使用高斯过程回归 . 我有大量的培训数据,并试图预测测试数据 . 经过训练的数据不会变化,但测试数据会变化 . 我的问题是,如果可以保存训练结果,并且每当有新的测试数据进入时,只需快速预测测试数据的目标,而无需重新进行再训练 . 我将不胜感激任何帮助 . 谢谢,杰伊 -
-1 votesanswersviews
重新培训新数据的模型
假设我使用 TRAIN.py 来训练回归模型调用 "MODEL_V1" ,我想将其部署到本地企业 . 所有者想要了解有关 future changes 的模型更新的更多信息 . 我认为, 对于 big changes ,例如添加/删除功能等,应该从头开始训练模型 by a data scientist . 只有 new data added to the databa... -
-2 votesanswersviews
eval(expr,envir,enclos)出错:找不到对象'PAY_0.1'(Boosting)
我正在尝试应用一个提升模型,但我一直收到这个错误 . 任何帮助都将非常感激 . 如果您想知道,这是来自kaggle,UCI信用卡数据的数据集 . DataSplit<-createDataPartition(UCIdata$default.payment.next.month,p=.8,list=FALSE) boosttrain<-UCIdata[DataSplit,] boostt... -
0 votesanswersviews
R中的插入符号训练问题
我最近开始玩Caret包,我正在努力理解训练论点 . 下面我使用了Sonar数据集并创建了三个输入和输出 . library(caret) library(mlbench) data(Sonar) set.seed(107) SonarImput1<-Sonar[,1:60] SonarImput2<-Sonar[,1:2] SonarImput3<-Sonar[,1... -
6 votesanswersviews
OpenCV迭代随机森林训练
我正在使用随机森林算法作为我论文项目的分类器 . 训练集由数千个图像组成,并且对于每个图像,约2000个像素被采样 . 对于每个像素,我有成千上万的功能 . 由于我目前的硬件限制(8G的ram,可能可扩展到16G),我能够在内存中只为一个图像拟合样本(即每像素的特征) . 我的问题是:是否可以多次调用火车方法,每次使用不同的图像样本,并在每次调用时自动更新统计模型?我对变量重要性特别感兴趣,因为在... -
1 votesanswersviews
r caret包中的列车功能输出的巨大尺寸
我正在使用r caret包中的train()函数训练bagFDA模型,并将模型输出保存为.Rdata文件 . 输入文件大约有300k条记录,有26个变量,但输出.Rdata的大小为3G . 我只需运行以下命令:modelout < - train(x,y,method =“bagFDA”)save(file =“myout.Rdata”,modelout)在窗口系统下 . 问题:(1)为什... -
1 votesanswersviews
如何使用StratifiedKFold?
我在使用StratifiedKFold方面遇到了问题 . 我想做交叉验证 . X和Y是numpy.ndarray,当我运行下面的代码时,我得到以下错误 . 我知道我得到的是train_index和test_index是训练和测试分裂的索引,但是如何提取例如X中索引为0的数据,以便从skf.split中显示索引的训练和测试集? skf = StratifiedKFold(n_splits=3) f... -
0 votesanswersviews
从零开始训练初始V2 - 发散
作为一个学习练习,我正在使用Kaggle比赛中的ImageNet dataset从头开始训练Inception(v2)模型 . 我目前正在我的MacBook Pro(单CPU)上进行训练,所以我预计它会在不少于一个月左右的时间内收敛 . 这是Inception模型的my implementation . 输入为224x224x3图像,值范围为[0,1] . 学习率设置为静态0.01,我使用随机梯度... -
0 votesanswersviews
在训练单个批处理时,是否需要在python代码中迭代示例(最佳)?
假设我有一个批次,我想训练我的模型 . 我只是运行tf.Session()的sess.run(批处理)一次,还是必须在会话中循环遍历所有批处理的示例?我正在寻找迭代/更新训练操作的最佳方法,例如丢失 . 我认为tensorflow会自己处理它,特别是在tf.nn.dynamic_rnn()接受批量维度以列出示例的情况下 . 我想,也许是天真的,python代码中的for循环将是更新损失的低效方法 ... -
5 votesanswersviews
如何研究每个数据对深层神经网络模型的影响?
我正在使用Python和Keras库来训练神经网络模型 . 我的模型测试精度非常低(60.0%),我尝试了很多来提升它,但我做不到 . 我正在使用DEAP数据集(共32个参与者)来训练模型 . 我正在使用的分裂技术是固定的 . 具体如下:28名参与者接受培训,2名参加验证,2名参加测试 . 对于我正在使用的模型如下 . 顺序模型 优化器=亚当 使用L2_regularizer,高斯噪声... -
0 votesanswersviews
R - 插入符号::训练“随机森林”参数
我正在尝试使用插入符号包中的train()fx在60个变量和~20,000个观察点上构建分类模型 . 我正在使用随机森林方法并且在我的训练集上返回0.999准确度,但是当我使用模型进行预测时,它将每个测试观察分类为同一类(即,20个观察中的每一个被归类为“1”) 5种可能的结果) . 我确定这是错误的(测试集是针对Coursera测验,因此我没有发布确切的代码)但我不确定发生了什么 . 我的问题是... -
1 votesanswersviews
如何读取.hdf5数据文件作为卷积神经网络的输入?
我使用以下链接以HDF5格式保存了大量图像及其标签:Saving and loading a large number of images (data) into a single HDF5 file,它提供了以下按键 .数据集列表: ['test_img', 'test_labels', 'train_img', 'train_labels', 'train_mean', 'val_img', ... -
0 votesanswersviews
在R中使用火车包进行交叉验证
我的火车模型包含8523个数据和15个变量 . str(my.data) session info [11] pkgconfig_2.0.1 rlang_0.2.0 bindr_0.1(这些是来自"session info"截图的其他信息) 在使用randomForest之前,我想使用train包进行交叉验证并找到模型参数的最佳值 . # set tunning paramet...