首页 文章
  • 86 votes
     answers
     views

    pandas DataFrame:用平均列替换nan值

    我有一个大概用实数填充的pandas DataFrame,但它中也有一些 nan 值 . 如何用列的平均值替换 nan ? 这个问题与这个问题非常类似:numpy array: replace nan values with average of columns但不幸的是,那里给出的解决方案对于pandas DataFrame不起作用 .
  • 4 votes
     answers
     views

    在pandas数据帧中写一个用户定义的fillna函数,用条件填充np.nan不同的值

    考虑以下pandas数据帧: import pandas as pd change = [0.475, 0.625, 0.1, 0.2, -0.1, -0.75, 0.1, -0.1, 0.2, -0.2] position = [1.0, 1.0, nan, nan, nan, -1.0, nan, nan, nan, nan] date = ['20150101', '20150102', ...
  • 66 votes
     answers
     views

    如何在Pandas数据帧(python)中查找哪些列包含任何NaN值

    给定一个pandas数据帧,其中包含(可能)NaN值分散在这里和那里: Question: 如何确定哪些列包含NaN值?特别是,我可以获得包含NaN的列名列表吗? 谢谢
  • 2 votes
     answers
     views

    Pandas - 如果dataFrame的所有值都是NaN

    如何创建执行以下操作的if语句: if all values in dataframe are nan: do something else: do something else 根据this post,可以检查DataFrame的所有值是否都是NaN . 我知道一个人做不到: if df.isnull().all(): do something 它返回以下错...
  • 2 votes
     answers
     views

    NAN在OpenGL纹理中

    我在桌面应用程序(Windows / Linux,GLSL 4.2)中使用包含float 32数据(GL_RGBA32F格式)的1D,2D和3D OpenGL纹理 . 这些纹理包含预先计算的物理数据的结果,并且可能包含预计算失败的一些NAN值(在我的应用程序中这是“正常”,有些情况无法计算,这很少但是“正常”) 我需要在着色器中检测这些值 . 在GLSL采样器中处理NAN值是否有任何标准? 进一步...
  • 2 votes
     answers
     views

    张量流模型与skflow(优化器)中的相同模型具有不同的结果

    我正在使用张量流为MNIST数据集复制神经网络,之前在skflow中编程 . 这是skflow中的模型: import tensorflow.contrib.learn as skflow from sklearn import metrics from sklearn.datasets import fetch_mldata from sklearn.cross_validation impor...
  • 5 votes
     answers
     views

    Pearson相关和nan值

    我有两个包含数百列的CSV_files,我想为两个CSV_files的每个相同列计算Pearson相关系数和p值 . 问题是当一列中缺少数据“NaN”时,它会给我一个错误 . 当“.dropna”从列中删除nan值时,有时X和Y的形状不相等(基于移除的nan值)并且我收到此错误: “ValueError:操作数无法与形状一起广播(1020,)(1016,)” 问题:如果在“nan”中的一个csv中...
  • 17 votes
     answers
     views

    用最接近的非NaN值替换NumPy数组中的NaN

    我有一个NumPy数组 a 如下: >>> str(a) '[ nan nan nan 1.44955726 1.44628034 1.44409573\n 1.4408188 1.43657094 1.43171624 1.42649744 1.42200684 1.42117704\n 1.42040255 ...
  • 292 votes
     answers
     views

    如何检查Pandas DataFrame中的任何值是否为NaN

    在Python Pandas中,检查DataFrame是否具有一个(或多个)NaN值的最佳方法是什么? 我知道函数 pd.isnan ,但这会为每个元素返回一个布尔数据框架 . This post就在这里也没有完全回答我的问题 .
  • 5 votes
     answers
     views

    Python Pandas read_excel dtype str在读取或通过to_csv写入时用空格('')替换nan

    Python版本:Python 2.7.13 :: Anaconda自定义(64位)Pandas版本:pandas 0.20.2 你好, 我有一个非常简单的要求 . 我想读取一个excel文件并将特定表格写入csv文件 . 编写csv文件时,源Excel文件中的空白值应被视为空白 . 但是,我的空白记录始终写为输出文件的“nan” . (没有报价) 我通过方法读取Excel文件 read_exc...
  • 38 votes
     answers
     views

    Number.IsNaN()比isNaN()更破碎

    Soooooo isNaN 显然在JavaScript中被破坏了,例如: isNaN('') isNaN(' ') isNaN(true) isNaN(false) isNaN([0]) 返回假,当它们看起来都是......不是数字...... 在ECMAScript 6中,草案包含一个新的 Number.isNaN 但看起来像(imo)这也被打破了...... 我期待 Number.is...
  • 1 votes
     answers
     views

    Pandas bar plot:添加标记以区分0和NaN

    我在Python中有以下pandas DataFrame: df = pd.DataFrame([10,0,np.nan,8],index=[1947,1948,1949,1950], columns=['values']) df values 1947 10 1948 0 1949 NaN 1950 8 我想用 df.plot(kind='...
  • 8 votes
     answers
     views

    如何在数组(JS)中过滤()输出NaN,null,0,false

    我被要求在 array 过滤掉 NaN, null, 0, false . 幸运的是我回答了这个问题 . function bouncer(arr) { function filterer(arr) { return arr > 0|| isNaN(arr) === true; } arr = arr.filter(filterer); return arr; }...
  • 41 votes
     answers
     views

    NaN是否等于NaN?

    parseFloat("NaN") 返回“NaN”,但是 parseFloat("NaN") == "NaN" 返回false . 现在,这可能是一件好事,它确实会返回错误,但我不明白这是怎么回事 . JavaScript创建者是否只是将其作为一个特例?因为否则我无法理解这是如何返回false的 .
  • 0 votes
     answers
     views

    修改了缺失数据的线性插值

    想象一组具有给定x值(作为列向量)的数据和在矩阵中组合的几个y值(列向量的行向量) . 矩阵中的某些值不可用: %% Create the test data N = 1e2; % Number of x-values x = 2*sort(rand(N, 1))-1; Y = [x.^2, x.^3, x.^4, x.^5, x.^6]; % Example values Y(50:80, 4...
  • 6 votes
     answers
     views

    如何在推荐系统中的Pearson相关用户 - 用户相似度矩阵中处理NaN?

    我正在从用户评级数据(特别是MovieLens100K数据)生成用户 - 用户相似度矩阵 . 计算相关性导致一些NaN值 . 我在一个较小的数据集中测试过: 用户 - 项目评级矩阵 I1 I2 I3 I4 U1 4 0 5 5 U2 4 2 1 0 U3 3 0 2 4 U4 4 4 0 0 用户 - 用户Pearson相关相似度矩阵 U1 U2...
  • 220 votes
     answers
     views

    对于IEEE754 NaN值,所有比较返回false的理由是什么?

    为什么NaN值的比较与所有其他值的行为不同?也就是说,与运算符==,<=,> =,<,>的所有比较(其中一个或两个值为NaN)返回false,这与所有其他值的行为相反 . 我想这可以通过某种方式简化数值计算,但我找不到明确说明的理由,即使在Kahan的Lecture Notes on the Status of IEEE 754中也没有详细讨论其他设计决策 . 这种异常行为...
  • 1 votes
     answers
     views

    深度学习caffe - 数据分类导致NaN

    我有一个训练有素的caffe网用于2类问题,并且想检查一个数据的净输出 . 所以我运行这样的分类: proto = 'deploy.prototxt' model = 'snapshot_iter_4000.caffemodel' net = caffe.Net(proto, model, caffe.TEST) # get image from database to variable &qu...
  • 4 votes
     answers
     views

    Python Pandas:检查行中的所有列值是否为NaN

    如果我的问题已经得到答复,请接受我的道歉 . 我试图找到一个解决方案,但我能找到的只是在数据帧中为所有NaN提供解决方案 . 我的问题是我有一个包含6列和500行的数据帧 . 我需要检查在任何特定行中是否所有值都是NaN,以便我可以从我的数据集中删除它们 . 第2,6和7行下面的示例包含从col1到col6的所有Nan: Col1 Col2 Col3 Col4 Col5 ...
  • 0 votes
     answers
     views

    绘制包含NaN值的pandas数据帧列

    我有一些问题,将大熊猫数据框中的第二列绘制到双x轴上 . 我想这可能是因为第二个有问题的列包含NaN值 . NaN值存在,因为每10年只有数据可用,尽管第一列每年都有数据 . 它们是使用np.nan生成的,为了清楚起见,我将其包含在最后 . 这里的直觉是将两个系列绘制在同一个x轴上,以显示它们随时间变化的趋势 . 这是我的代码和数据框: import pandas as pd import nu...
  • 146 votes
     answers
     views

    (NaN!= NaN)和(NaN!== NaN)之间有什么区别?

    首先,我想提一下,我知道如何 isNaN() 和 Number.isNaN() 工作 . 我正在阅读David Flanagan的The Definite Guide,他给出了一个如何检查值是否为 NaN 的示例: x !== x 当且仅当 x 为 NaN 时,这将导致 true . 但现在我有一个问题:他为什么要使用严格的比较?因为它似乎 x != x 表现方式相同 . 使用这两个版本是否...
  • 0 votes
     answers
     views

    在Tensorflow中特定迭代次数之后的NaN值不是由于梯度不同引起的

    尝试在TensorFlow中实现端到端的CNN模型 . 输入是包含11779个图像的文件夹,输出是0-200的int标签 . 我've already created a .tfrecords file for both image and labels and I'm使用 tf.train.string_input_producer() 和 tf.train.shuffle_batch() 来启...
  • 1 votes
     answers
     views

    训练神经网络:由于批量大小导致的数学原因

    我正在训练CNN . 我使用Googles预训练inceptionV3替换最后一层进行分类 . 在训练期间,我的交叉熵损失变得很多问题 . 在尝试了不同的事情(降低学习率,检查数据等)之后,事实证明 training batch size 太高了 . 将培训批量从100减少到60解决了这个问题 . 您能否解释为什么过高的批量大小会导致交叉熵损失功能出现这个问题?还有一种方法可以解决这个问题,以适应...
  • 1 votes
     answers
     views

    保存pandas数据帧以分离没有NaN的jsons

    我有一个带有一些NaN值的数据帧 . 这是一个示例数据帧: sample_df = pd.DataFrame([[1,np.nan,1],[2,2,np.nan], [np.nan, 3, 3], [4,4,4],[np.nan,np.nan,5], [6,np.nan,np.nan]]) 看起来像: 得到一个json后我做了什么: sample_df.to_json(orient = 're...
  • 0 votes
     answers
     views

    将numpy浮点数组转换为整数,替换NaN值

    我有一个包含值和NaN的float64 numpy数组: [[ 5. nan nan nan nan nan nan nan nan nan nan nan nan] [nan 6. nan nan nan nan nan nan nan nan nan nan nan] [nan 7. 5. nan nan nan nan nan nan nan nan nan nan] [nan ...
  • 1 votes
     answers
     views

    JavaFX LineChart在高值时显示为空白

    刚遇到javafx.scene.chart.LineChart的问题 . 当使用高于5E13左右的Double值填充图表数据时,系列恰好消失(见屏幕截图) . Before After 以防万一:我正在使用以下代码添加数据 chart.getData().clear(); chart.getData().add(new XYChart.Series<>("Simulati...
  • 8 votes
     answers
     views

    NAN传播和IEEE 754标准

    我正在设计一个新的微处理器指令集(www.forwardcom.info),我想使用NAN传播来跟踪错误 . 但是,IEEE 754浮点标准中有许多奇怪的事情可以防止这种情况发生 . 首先,我想使用NAN传播而不是错误捕获的原因是我有可变长度的向量寄存器 . 例如,如果我有一个带有8个元素的浮点向量,并且我在第一个元素中有1/0而在第六个元素中有0/0,那么我只得到一个陷阱,但如果我在计算机上运行...
  • 0 votes
     answers
     views

    Integral3和integral2内部积分

    发现一个奇怪的事情,同时为自定义函数编码数值积分 . MATLAB手册说: integral3调用积分以在xmin≤x≤xmax上积分 . 它使用'tiles'方法调用integral2来评估双积分... 我已经完成了我的函数的正确(我认为是)矢量化,因此它从integral3获取平铺输入并返回正确的值数组 . 集成通过没有错误,但NaN值由集成返回(尽管集成函数本身总是返回复数数组) . ...
  • 8 votes
     answers
     views

    在累积的行值中进行平均计算,同时忽略MATLAB中的NaN

    我正在寻找有关如何优雅地解决以下问题的建议 . 虽然表现尚未得到好评,但仍然表达了对良好做法的评价 . 提前致谢! 简短版: 我试图根据一些逻辑平均矩阵行,而忽略NaN值 . 我目前的代码没有按照我想要的方式处理NaN值 . 长版: 我的数据以下列方式构建: "bins"的单个(第一个)列 . 每个bin的行数不是恒定的 . 垃圾箱不必是整数 . 行是预先排序的 . 可...

热门问题