首页 文章
  • -2 votes
     answers
     views

    使用列表项作为python字典中的键

    我在python中使用大型CSV文件,我正在尝试根据绑定到唯一标识符的文本列表创建字典 . 在CSV中,Items列的每个单元格中的值最初是自由文本,现在是逗号分隔列表 . 数据如下所示: ID Items 123 'A', 'B', 'C' 234 'A', 'C', 'D' 567 'A', 'D', 'E', 'F' 我正在尝试计算Items列中每个元素的...
  • 1 votes
     answers
     views

    处理包含utf-8文本的csv文件

    我有一个csv文件(见下面的[1]),其中包含非ascii文本(例如 Antonio Melé 这样的名称 . 该文件包含带有URL,摘录和注释的书籍列表 . 在Python 3.5中,我打开并处理文件,如下所示: # -*- coding: utf-8 -*- import codecs import csv import pdb def select_book_matching_keyw...
  • 0 votes
     answers
     views

    将CSV或制表符分隔的数据粘贴到具有NO格式的Excel

    我将Tab键分隔数据从记事本粘贴到excel(大约50k行和3列) . 无论我尝试多少种不同的方式,Excel都希望将包含一个 " 的单元格转换为一个单元格内容的下一个 " 实例 . 例如,如果我的数据如下所示: "Apple 1.0 Store Banana 1.3 Store "Cherry" 2.5 Garden Watermel...
  • 4 votes
     answers
     views

    有没有办法导出和Excel工作表而不复制到工作簿?

    我有一个可以将工作表导出到.csv的工作簿,但它会将其复制到新的工作簿中一秒钟,然后保存,我想知道是否有办法只是从工作表中复制数据而不打开新的工作簿?我的代码是: Sub CopyToCSV() Dim FlSv As Variant Dim MyFile As String Dim sh As Worksheet Dim MyFi...
  • 0 votes
     answers
     views

    如何在tensorflow程序中加载csv文件?

    我正在通过卷积神经网络的tensorflow教程研究深度神经网络 . 但我拥有的数据集是csv文件的形式 . 我有4个csv文件2用于培训(xtrain.csv和ytrain.csv),2个用于测试(xtest.csv和ytest.csv) . xtrain.csv和xtest.csv包含分别具有1280行和4096列以及320行和4096列的输入 . 这里每行代表尺寸1x4096的图像 . 因...
  • 17 votes
     answers
     views

    CSV中的PostgreSQL副本,缺少数据值

    我正在尝试使用COPY将CSV文件导入PostgreSQL . 当它遇到有空值的行时,它会窒息,例如:第二行: JAN-01-2001,1,2,3,4,5 JAN-02-2001,6,7 ,,, 我已经尝试过这个COPY语句,以及使用NULL和QUOTE的变体,并没有发现任何有用的东西 . COPY数据来自'data.dat'使用DELIMITERS','CSV; 有什么建议?数据文件是一...
  • 34 votes
     answers
     views

    我可以从带有 Headers 的csv文件中自动在PostgreSQL中创建一个表吗?

    我在OS X 10.6.8上运行PostgreSQL 9.2.6 . 我想将带有列 Headers 的CSV文件中的数据导入数据库 . 我可以使用 COPY 语句执行此操作,但前提是我首先手动创建一个包含CSV文件中每列的列的表 . 有没有办法根据CSV文件中的 Headers 自动创建此表? 每this question我试过了 COPY test FROM '/path/to/test.csv...
  • 4 votes
     answers
     views

    postgresql csv复制在数据中找到的未引用的换行符

    我在excel中有一些csv数据,我将它导入到postgresql中 . 我正在用记事本编辑器打开excel csv文件(尝试过记事本,wordpad和记事本)然后复制/粘贴到Linux机器的远程桌面连接 . 然后我在数据库中使用这个import语句:COPY ltg_data FROM'/home/keene/ltg_db/ltg_outbreak_jun9_15.csv'(FORMAT CSV...
  • 0 votes
     answers
     views

    使用Postgres上的静态字段从CSV复制

    我想将实际系统从CSV文件切换到PostgreSQL 9.5数据库到更高效的系统 . 由于其良好的性能,我想使用COPY声明 . 问题是我需要填充一个不在CSV文件中的字段 . 有没有办法让COPY语句为插入的所有行添加静态字段?完美的解决方案看起来像这样: COPY data(field1, field2, field3='Account-005') FROM '/tmp/Account-00...
  • 2 votes
     answers
     views

    无法在AWS RDS上将csv导入postgres

    我在AWS上有一个Postgres RDS . 在模式“public”下创建了一个名为“store”的表,其中包含以下列: 现在我想从本地导入csv到AWS postgres数据库 . 我按照this article中的说明使用 PgAdmin 导入csv . AWS数据库已成功连接 . 然后我右键单击表 store 并选择 Import/Export Data . 配置如下: 列选项卡...
  • 0 votes
     answers
     views

    SAS:如何找出每个变量列的后续第二高条目?

    我有一个CSV格式的数据集,如下所示: Policy_Number,var1,var2,var3,Exposure 1,B,H,J,191 2,B,F,Unknown,174 3,C,Unknown,I,153 4,B,G,L,192 5,Unknown,E,Unknown,184 6,D,E,K,113 7,C,Unknown,I,140 8,A,H,I,133 9,C,F,I,194 10,U...
  • 1 votes
     answers
     views

    如何将大型csv导入SAS且变量名称完好无损?

    我正在尝试导入一个大型CSV文件(大约7k变量和355个观测值) . Proc Import在~2k列之后停止读取变量名称,我不确定为什么 . 我发现使用infile会将整个csv带入SAS,但变量名称在第一行,变量名为v1-vn . 我只需要从第一行获取变量名称,然后使用这些来修改/重命名我的数据集 . 到目前为止,我已经:使用infile和transpose将我的所有变量名称放在一个单独的数...
  • 1 votes
     answers
     views

    SAS proc导入.csv文件缺少列问题

    我正在尝试将多个.csv文件导入SAS . 这些csv文件是12个月的每小时温度数据,每列代表日期和时间 . 例如,1月文件的列为:20120101 00-20120131 23.由于月长不同,列数也相应不同 . 使用以下代码导入数据, proc import out=air.air&year datafile="year\hourly*.csv" dbms=csv ...
  • 1 votes
     answers
     views

    PHP LOAD DATA INFILE VS Fopen

    我尝试第二次尝试使用LOAD DATA INFILE将记录从CSV上传到MySQL数据库但是我总是遇到所有尝试中的错误,每次都有不同的错误,这就是为什么我宁愿使用原始方式循环记录 . 我的上一个剧本: <?php //Connect to Database $maindir = realpath(__DIR__); include($maindir . '/connectme.php');...
  • 0 votes
     answers
     views

    MYSQL InnoDB:带有唯一键的LOAD DATA INFILE问题

    当我们使用UNIQUE Key Column以避免重复时,LOAD DATA LOCAL INFILE的性能是否会下降? 当我使用Unique和没有Unique Key列测试.csv文件导入时,我有以下观察: 我看到1百万条记录存储/插入到表中而没有任何问题而没有使用唯一键约束,所以它需要重复 . 使用列上的唯一键约束来避免重复,我测试了70k记录,它在几分钟内存储得很好,因为50万条记录...
  • 3 votes
     answers
     views

    在具有长不同长度字段的SAS中导入CSV会浪费磁盘空间

    我遇到的问题是,当我导入我的CSV文件时,我最终获得了大尺寸的临时文件(比输入文件本身大得多) . 当对其中一些文件使用压缩时,我的空间减少了99%,但我想知道是否有更好的方法可以直接减小尺寸 . 我准备了一个简化的例子 . 我正在导入如下的CSV: FILENAME CSVFILE("c:\example.csv"); DATA CSVINPUT (COMPRESS=yes...
  • 0 votes
     answers
     views

    Powershell - 将日期格式修改为CSV列中的值

    我正在寻找以下的PowerShell脚本...... 我有一个自动从网站下载的CSV电子表格,电子表格的第二列是英国格式的日期值dd / mm / yyyy . 我想要一个脚本,它将第2列中所有值的日期格式更改为美国日期格式yyyy / mm / dd . 我正在使用LOAD DATA INFILE将CSV导入MySQL数据库,目前日期是2017/02/15,应该是2015/02/17 . CSV...
  • 0 votes
     answers
     views

    SAS:导入包含日期的CSV文件

    我目前正在尝试将压缩的csv文件导入SAS,我有3列日期,格式为YYYY-MM-DD . 这个csv文件中的所有数据都是唯一的行,所以我认为它是一个字符串而不被识别为数字(对不起,我最近才开始编码,而且我还在学习很多基础知识) . 会发生什么事情是SAS假设8个字符并且它出现在2010-08-,基本上错过了这一天 . 我尝试了几种方法来解决使用输入,但到目前为止还没有解决它 . 我要么得到一个空列...
  • 1 votes
     answers
     views

    从CSV导入PSQL添加其他字符

    我有一个CSV文件,我在其中导入了许多字段...其中一个字段是日期类型字段,格式为'20120401' . 在CSV文件中,所有行的此字段的长度为8.我在Postgres中创建了一个表,并指定该字段以将此数据作为DATE类型列接收 . 当我导入CSV文件时,它引发了“无效的输入错误” . 为了解决这个问题,我将表的类型更改为VARCHAR,以为我可以运行ALTER TABLE来更改数据类型 . 导...
  • 2 votes
     answers
     views

    SAS Proc导入和错误的格式

    我试图通过proc导入功能导入一个csv文件 . 我使用以下语法: PROC IMPORT OUT= WORK.claims DATAFILE= 'C:\Folder\File.csv' DBMS=csv REPLACE; GETNAMES=YES; GUESSINGROWS=125; RUN; 我的一个变量是以下形式的字符串: ...
  • 0 votes
     answers
     views

    SAS Proc导入csv文件,其中的列用引号括起来

    我有一个特别的问题 . 我已经导出了一个csv文件,我在某些列上需要将数据放入quoation-marks中,因为前导零,有时一个长数据包在导出时包含“E” . 现在我正在尝试将相同的文件导入SAS,以查看我的proc import-routine是否有效 . 当我导入文件时,所有数据都会通过,但是当我实际导出20列时,会被压缩成两列(因此我的分隔符错误了吗?) . 并非所有列都用引号括起来,只是...
  • 0 votes
     answers
     views

    在Python上绘制CSV行/列更简单

    我有一个我想读的csv文件 . excel / csv工作表中的第一行是列 Headers “Jan | Feb | Mar ...”等 . 然后在每个列 Headers 下面是浮点数据 . 我有以下代码: filename ='Data.csv' with open(filename) as f: csvreader = csv.reader(f) header_row = next(csvr...
  • 1 votes
     answers
     views

    管理员中通过CSV批量导入Django完整性错误

    我正在尝试在Django Admin中实现CSV导入并保存与CSV文件行对应的批量数据 . 我有一个模型 Employee 与 OneToOneField 到Django的 Auth 模型 . 我写了一个接受csv文件的自定义表单 . 但是,当我调用super() . save()方法时,我得到了一个完整性错误 . 我的Model类是: class Employee(models.Model): ...
  • 7 votes
     answers
     views

    使用Python解析此自定义Twitter捕获数据并创建统计信息

    我正在尝试从提供给我的特定数据集中收集twitter统计信息 . 在将数据提供给我之前,我无法控制数据的格式,因此我陷入了混乱状态 . 我想知道如何构建一个python程序来解析这种输入并输出更多的CSV文件,字段 Headers 为 Headers 和下面的值 . 我想使用python,因为最终我想使用一些我已经放在一起的统计工具 . 另外,CSV类型格式的输出是首选,因为我可以将其输入到SPS...
  • 0 votes
     answers
     views

    在Matlab中绘制许多csv“行”文件(如果你喜欢,则绘制R)[关闭]

    问题 我有50个带有这种结构的.csv文件: value1,value2,... 一个长行,每个值用逗号分隔 . 具体来说,它们是浮点数,每个csv具有不同数量的值 . 0.0023593,0.0062565,0.00723753,0.0023353,0.0052353,0.0024353,... 我必须在同一图表中绘制每个数据文件,以查找此值的趋势,并可能使用平均图 . How can I ...
  • 15 votes
     answers
     views

    在谷歌colab中读取csv到dataframe

    我正在尝试读取我在本机上存储的csv文件 . (仅供参考,它是来自Kaggle的巨大数据,是here . ) 从this问题和答案我了解到你可以使用这个代码导入数据,这对我很有用 . from google.colab import files uploaded = files.upload() 丢失的地方是如何从这里将其转换为数据帧 . 上面答案中列出的sample google noteb...
  • 0 votes
     answers
     views

    谷歌colab打开csv文件

    我试图通过这种方式在google csv上打开.csv文件 import pandas as pd from google.colab import files uploaded = files.upload() for fn in uploaded.keys(): print('User uploaded file "{name}" with length {length}...
  • 1 votes
     answers
     views

    如何使用ODI 11g ETL错误表作为源?

    我目前正在使用ODI 11g通过CSV文件导入Oracle,从Mainframe Adabas表视图中导入记录 . 这是成功完成的 . 关键是我现在正在尝试通过CSV向大型机应用程序发回由于某种原因无法导入Oracle并存储在ETL错误表中的记录 . 我正在尝试使用相同的过程,在这种情况下向后,将数据从错误表导出到CSV文件,该文件将由大型机应用程序导入Adabas . 我通过逆向工程成功导入了错...
  • 0 votes
     answers
     views

    将转换加载提取到MySql中

    我基本上是从微软背景上为SSL寻求项目的SSIS工作 . 现在我手头有另一个项目来处理将.csv文件加载到MySql数据库中 . 在加载这些表的过程中,数据必须经历一些转换然后进入目标表 . 这是ETL项目的大部分内容 . Client doesn't have SSIS (BIDS) and am compelled to use open source tools. 我做了一些研究,发现 Ta...
  • 0 votes
     answers
     views

    fgets读取超出.csv文件中一行的末尾

    我有一个Excel文件,保存为.csv文件 . 在Word或文本编辑器中打开文件时,每个记录都按预期显示在新行中 . 现在,我正在使用fgets(line,sizeof line,fp)读取文件;使用fgets,传入的行字符串将继续超出每个.csv行的末尾 . 并继续使用sizeof设置的值 . 但是我需要在.csv文件中以行尾结束它的长度 . 我究竟做错了什么?也许我需要添加一个新的行字符或者我...

热门问题