我最近在Windows 10和Python 3.5上安装了支持GPU的mxnet(python包) . 我经历了几个例子,他们似乎工作正常 .
我习惯于学习样式机器学习包和非常新的Python深度学习包,例如Mxnet,虽然我已经在R中使用过Mxnet . 我很难理解如何将.csv训练数据提供给模型 .
我想向一个简单的CNN提供一些图片 . 图像为28x28像素,并以.csv格式存储为平顶阵列 . 我有两个.csv文件,一个用于培训,另一个用于测试 . 每个.csv文件都具有以下结构:
label, pixel1, pixel2, ..., pixel784
0,...
1,...
在训练集/测试集中总共有10个标签和大约1000/300个图像 .
我使用以下代码加载数据并训练模型:
import mxnet as mx
import pandas as pd
import numpy as np
import os
path = "C://users//me//data"
os.chdir(path)
df_train = pd.read_csv("train_28.csv")
df_test = pd.read_csv("test_28.csv")
keys = ['pixel.'+str(i) for i in range(1,785)]
X_train = df_train[keys].get_values().T
X_train = X_train.reshape((1200,28,28,1))
y_train = df_train['label'].get_values().reshape((1200,1))
#y_train = y_train.reshape((28,28,1,1200))
data = mx.symbol.Variable('data')
# First conv layer
conv1 = mx.symbol.Convolution(data=data, kernel=(5,5), num_filter=20)
tanh1 = mx.symbol.Activation(data=conv1, act_type="tanh")
pool1 = mx.symbol.Pooling(data=tanh1, pool_type="max",
kernel=(2,2), stride=(2,2))
# Second conv layer
conv2 = mx.symbol.Convolution(data=pool1, kernel=(5,5), num_filter=50)
tanh2 = mx.symbol.Activation(data=conv2, act_type="tanh")
pool2 = mx.symbol.Pooling(data=tanh2, pool_type="max",
kernel=(2,2), stride=(2,2))
# First fully connected
flatten = mx.symbol.Flatten(data=pool2)
fc1 = mx.symbol.FullyConnected(data=flatten, num_hidden=500)
tanh3 = mx.symbol.Activation(data=fc1, act_type="tanh")
# second fullc
fc2 = mx.symbol.FullyConnected(data=tanh3, num_hidden=10)
# loss
lenet = mx.symbol.SoftmaxOutput(data=fc2, name='softmax')
device = mx.gpu()
model = mx.model.FeedForward.create(lenet,
X = X_train,
y = y_train,
ctx = device,
num_epoch = 30)
我正在使用这种方法,类似于我在R中使用mxnet的方法,(顺便说一句,它在R上工作得很好,但我不能在R上使用GPU,所以我需要使用Python来获得更好的性能......)但是我我收到以下错误:
[16:54:11] D:\chhong\mxnet\dmlc-core\include\dmlc/logging.h:235: [16:54:11] d:\chhong\mxnet\src\operator\./convolution-inl.h:347: Check failed: ksize_x <= dshape[3] && ksize_y <= dshape[2] kernel size exceed input
Traceback (most recent call last):
File "C:\Users\Me\Desktop\esempio_lenet.py", line 57, in <module>
num_epoch = 30)
File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 901, in create
eval_batch_end_callback=eval_batch_end_callback)
File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 745, in fit
self._init_params(dict(data.provide_data+data.provide_label))
File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 485, in _init_params
arg_shapes, _, aux_shapes = self.symbol.infer_shape(**input_shapes)
File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\symbol.py", line 453, in infer_shape
return self._infer_shape_impl(False, *args, **kwargs)
File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\symbol.py", line 513, in _infer_shape_impl
ctypes.byref(complete)))
File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\base.py", line 77, in check_call
raise MXNetError(py_str(_LIB.MXGetLastError()))
mxnet.base.MXNetError: InferShape Error in convolution0: [16:54:11] d:\chhong\mxnet\src\operator\./convolution-inl.h:347: Check failed: ksize_x <= dshape[3] && ksize_y <= dshape[2] kernel size exceed input
我无法弄清楚我做错了什么 . 可以请有人告诉我这是什么错误,并提供一套明确的说明如何加载.csv文件与上面相同的结构,并培训mxnet模型?我查看了文档,但无法弄清楚我自己如何正确加载.csv文件...
我之所以要求加载这样的.csv文件的程序是因为我主要处理那种格式的数据,对我来说,能够针对具有这些.csv文件的文件夹运行脚本对我来说非常有 Value . 它们准备好用于训练深度卷积神经网络 .
如果您需要它们来重现我编写的示例代码,可以使用一组训练和测试.csv文件.1347592_ .
谢谢
1 回答
问题在于这一行:
在mxnet中,第二个维度是要素图,而第三个和第四个维度是宽度和高度,因此它应该是: