-
0 votes1 answers1463 views
#在CSV Headers 中
验证通过某个ETL工具生成的csv文件时,我们常常在 Headers 的开头突出显示#present的问题 . 只是想知道如果csv文件在haeder的开头有一个#会有什么影响 . -
1 votes4 answers1669 views
优化非常大的csv文件中的搜索
我有一个带有单列的csv文件,但有620万行,所有行都包含6到20个字母之间的字符串 . 一些字符串将在重复(或更多)条目中找到,我想将它们写入新的csv文件 - 猜测应该有大约100万个非唯一字符串 . 就是这样,真的 . 然而,不断搜索600万条目的字典确实需要时间,我会很感激如何做到这一点 . 根据我所做的一些时间安排,到目前为止我写的任何脚本都需要至少一周(!)才能运行 . 第一次尝试: ... -
0 votes1 answers824 views
Perl文件,新行到HASH,然后到CSV
你好Perl专家, 我很抱歉,如果我问得太多,但刚开始学习perl,并希望了解更多有关散列到csv的信息 . 试着打破我的头几天,但没有得到太多 . 我的要求是我想转换下面的文件并将其打印为csv而不使用cpan中的自定义模块 . 由于此处不允许使用自定义模块 . 我尝试的逻辑是将输入文件转换为哈希并像csv一样打印 . 第一个问题我的代码有问题 . 我有一个复杂的部分,我需要在空格之前使用第... -
0 votes2 answers1381 views
如何从CSV文件中解析散列哈希值
我有一个CSV文件,我需要读取并提取在一定范围内具有“created_at”的所有行 . CSV本身在Excel中约为5000行 . 这是我从文件中提取信息的方式: CSV.foreach("sample_data.csv", :headers => true, :header_converters => :symbol, :converters => :a... -
98 votes3 answers110 views
TypeError:需要类似字节的对象,而不是python和CSV中的'str'
TypeError:需要类似字节的对象,而不是'str' 在执行下面的python代码时将错误的表格数据保存在Csv文件中 . 不知道如何获得rideup.pls帮助我 . import csv import requests from bs4 import BeautifulSoup url='http://www.mapsofindia.com/districts-india/' res... -
0 votes1 answers524 views
在Python和TypeError中编码中文字符:需要类似字节的对象,而不是'str'
嗨,大家好我已经用Python编写了一个web scraper,试图从一个字典网站上搜索一些单词样本句子,等等我的GRE单词列表并将它们放在一个csv文件中 . 抓内容包括汉字 . 我的脚本唯一的问题是当我尝试将这些文件写入CSV文件时,我可能会收到错误 UnicodeEncodeError:'ascii'编解码器无法对位置13-15中的字符进行编码:序数不在范围内(128) 要么 TypeErr... -
0 votes1 answers687 views
TypeError:需要类似字节的对象,而不是无服务器和Python3的'str'
我有一个aws-lambda函数,只要将CSV文件上传到s3存储桶就会触发该函数 . 我在Python 3.6中使用无服务器框架,问题是我收到此错误消息 需要一个类似字节的对象,而不是'str':TypeError Traceback(最近一次调用last):文件“/var/task/handler.py”,第33行,在csvfile中,fichier = obj ['Body'] . () ... -
0 votes1 answers1514 views
download.file出错;没有相应的文件和目录
我是一个R和编程newb,并试图从以下位置下载文件: https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv 我使用了download.file,我的代码是: 网址< - 'https://d396qusza40orc.cloudfront.net/getdata%2Fdata%2Fss06hid.csv' DOC... -
0 votes0 answers667 views
如何从rvest [R]中的按钮下载csv文件?
我是rvest的新手,我需要编写一个从网站下载csv文件的脚本 . 该网站是http://phoible.org/inventories . 在右侧,有一个下拉按钮,可以选择以多种格式下载数据(包括我感兴趣的csv文件) . 首先,我检查了css内容,发现我感兴趣的按钮有以下css: <a href="#" id="dt-dl-csv" onclick... -
0 votes0 answers1023 views
从网站直接将csv下载到R中
我有一个Shiny App程序,它依赖于csv形式的用户特定输入 . 目前我有用户从网站下载它,然后将其上传到Shiny App . 相反,我希望程序直接从网站下载csv(假设用户登录到网站) . 一般来说,我会使用这种方法: library(RCurl) urlCSV <- getURL('https://{some url}.csv') df <- read.csv(textCon... -
177 votes11 answers528 views
Ruby on Rails - 从CSV文件导入数据
我想将CSV文件中的数据导入现有的数据库表 . 我不想保存CSV文件,只需从中获取数据并将其放入现有表中 . 我正在使用Ruby 1.9.2和Rails 3 . 这是我的表: create_table "mouldings", :force => true do |t| t.string "suppliers_code" t.datetim... -
2 votes2 answers1639 views
数据流SSIS - 公共目标表,不同结构的平面文件
我有多个平面文件(.csv)作为我在文件夹中的源 . 每个文件都有不同数量的列,这些列可能与其他文件相交也可能不相交 . 但是,任何源文件中的所有列始终存在于包含所有这些列的超集的目标表中 . 我的要求是遍历每个文件并动态地将该文件中可用的列映射到目标表(csv文件的头名称与表中的列名称匹配) . Structure of File 1: id, name, age, email Structu... -
3 votes1 answers1203 views
如何将.csv训练数据提供给mxnet中的卷积神经网络?
我最近在Windows 10和Python 3.5上安装了支持GPU的mxnet(python包) . 我经历了几个例子,他们似乎工作正常 . 我习惯于学习样式机器学习包和非常新的Python深度学习包,例如Mxnet,虽然我已经在R中使用过Mxnet . 我很难理解如何将.csv训练数据提供给模型 . 我想向一个简单的CNN提供一些图片 . 图像为28x28像素,并以.csv格式存储为平顶阵列 ... -
0 votes1 answers1099 views
在PYTHON中的两个CSV文件中查找公共区域
我有两个CSV文件,每个文件有10列,第一列称为“主键” . 我需要使用Python来查找两个CSV文件之间的公共区域 . 例如,我应该能够检测到CSV1中的行27-45等于CSV2中的行125-145,依此类推 . 我只是比较主键(第一列) . 其余数据不考虑进行比较 . 我需要在两个单独的CSV文件中提取这些公共区域(一个用于CSV1,一个用于CSV2) . 我已经解析并将两个CSV文件的行存... -
0 votes3 answers948 views
比较两个csv文件以输出匹配Python
我有一个名为“organs.csv”的csv文件和另一个包含大量数据的csv文件 . 我正在比较它们以获得它们之间的匹配 . 后一个文件没有任何特定的格式,所以我不知道哪个列有关于器官的数据 . 我已经尝试了下面的代码来获得匹配,但它有两个问题 . 如果csv2在两列中有一个风琴,它会在列表中追加两次 . 如果一行没有任何风琴,它就会忽略它 . 我希望它能做到以下几点: 如果一行有... -
3 votes1 answers1334 views
比较Python中的两个CSV文件
我有两个CSV文件如下: CSV1: **ID Name Address Ph** 1 Mr.C dsf 142 2 Ms.N asd 251 4 Mr.V fgg 014 12 Ms.S trw 547 CSV2: **ID Name Service Day** 1 Mr.C AAA ... -
0 votes3 answers1171 views
CSV比较列值python
我有2个csv文件分别为 csv1 和 csv2 . csv1 1,9,10 2,10,11 3,11,10 csv2 2,b 1,a 3,c 我想检查 csv1 的第1列的每个值到 csv2 的第1列,如果匹配, csv2 的第2列的其他值被追加到 csv1 . 我的最终输出是: 1,9,10,a 2,10,11,b 3,11,10,c -
1 votes2 answers1820 views
熊猫:如何比较导入的csv文件列以确保它们是相同的?
我将大量数据拆分为4个csv文件 . 它们应该具有相同的列,并且每个文件都是前一个的延续 . 我在Pandas中导入了4个CSV文件,在合并它们之前,我想比较所有4个列以确定任何差异 . 如何使用Pandas / Python做到这一点? 我是否使用合并或追加? csv1涵盖2001年至2004年,csv2涵盖2005年至2007年等等,它只是按时间划分 . -
1 votes1 answers1073 views
Bash / Python比较2个CSV文件输出到.htaccess重定向
我有2个CSV文件 . 两者都包含附加到2个网站的所有URL . 1是现场,第二是正在开发中 . 我目前面临的问题是,网站#2的网址格式有点不同,所以为了SEO,我需要生成一堆301 HTaccess重定向,比较2个CSV文件中的URL . 我并不是真的担心.htaccess输出,因为我总是可以在事后附加 redirect 的东西,但我如何比较2个CSV,如果CSV1中的URL是 LIKE CS... -
-1 votes1 answers1037 views
通过csv文件读取和解析[python3.6]
我对python很新 . 我正在尝试将2个csv文件合并为一个,选择特定的行和列 . csv1: Host, Time Up, Time Down, Time Unreachable, Time Undetermined server1.test.com:1717,100.000% (100.000%),0.000% (0.000%),0.000% (0.000%),0.000 server2.t... -
0 votes1 answers983 views
Powershell难题:如何与CSV进行比较并从中提取匹配数据?
我在“名称”列中有一个带有名称列表的CSV文件 . 在第二个CSV中,我在“名称”列中有一个名称列表,在“employeeid”列中有他们的员工ID . 我想要的输出是这样的:在CSV1中取"name"列,将其与CSV2中的"name"列进行比较,无论哪里匹配,从CSV1的"name"列和CSV2中匹配的员工ID中取名,然后创建一个新的C... -
0 votes1 answers727 views
结合两个csv文件python
我将数据存储在两个不同的CSV文件中 . 我想在文件a的末尾转储文件b,我也想删除 Headers ,即文件b的第一行 . 我可以使用 open('final.csv', 'a') 组合两个文件,但也包括文件b的 Headers . 任何帮助将不胜感激 . -
0 votes2 answers1602 views
合并来自csv文件的数据
我有以下模式中具有相同列数(不同行数)的100个csv文件: 档案1: A1,B1,C1 A2,B2,C2 A3,B3,C3 A4,B4,C4 文件2: *A1*,*B1*,*C1* *A2*,*B2*,*C2* *A3*,*B3*,*C3* 档案...... 输出: A1+*A1*+...,B1+*B1*+...,C1+*C1*+... A2+*A2*+...,B2+*B2*+...,C2+... -
0 votes2 answers1214 views
Python脚本没有组合csv文件
我试图使用下面的脚本将超过100,000个CSV文件(所有相同的格式)组合在一个文件夹中 . 每个CSV文件平均大小为3-6KB . 当我运行此脚本时,它只打开47个.csv文件并组合 . 当我重新运行它时,它只组合相同的.csv文件,而不是所有文件 . 我不明白为什么这样做? import os import glob os.chdir("D:\Users\Bop\csv"... -
2 votes3 answers848 views
使用OpenCSV读取文件
我使用OpenCSV进行CSV文件的读写 . 它工作正常,直到我想安装早期版本的Java - 即Java 6.安装后,我的代码停止工作: 线程“main”中的异常java.lang.UnsupportedClassVersionError:com / opencsv / CSVReader:java.lang.ClassLoader.defineClassCond(Unknown Source... -
0 votes1 answers600 views
Filemaker Pro 12在iOS上将当前'Records being browsed'导出为Excel
我正在管理Filemaker Pro 12解决方案以创建采购订单并通过电子邮件发送给iPad,但iOS平台不允许导出Excel文件 . 目前,我们将订单作为.pdf文件发送,但仓库必须手动批准每个订单 . 我们想到的解决方案是发送附加到电子邮件的.csv文件,以便仓库减少工作量 . 我正在使用3个不同的表来创建订单 . 存储产品的表,容器表(设置数量,折扣等)和订单本身的表 . 因此,您可以按顺序... -
2 votes0 answers409 views
在Jmeter中使用CSV文件循环设置2
我想在我的Jmeter项目中使用2个CSV DataSet Config项添加2 while循环,如下所示: While Loop condition: ${__javaScript("${var1}"!="<EOF>")} CSVDataSetConfig variables: var1 - recycle : false, stop ... -
2 votes1 answers1334 views
组合多个CSV文件
所以我整天都在攻击互联网,寻找一种结合多个CSV文件的方法 . 无论我查找过哪种30种PowerShell方法,我都会遇到问题 . 我正在尝试将多个CSV文件合并为一个,基本上是"full join"样式 . 我需要最终得到所有CSV组合的所有行和所有列,除了我想根据公共标识符组合行 . 这个讨论:“Merging two CSV files by shared column ... -
0 votes0 answers1109 views
当重复多个列时,按一个指定列合并1000个CSV文件
我需要合并多个CSV文件,每个文件看起来都像下面的摘录(文件大小各约170 Kb) . 在每种情况下,前3列在每个CSV文件中都是相同的 . 我想生成一个合并的CSV文件,通过第一列“ mrID ”中的信息合并(所有文件中的下两列也是共同的, chr 和 pos ,对于以后的行不是好的/不唯一的标识符) . 我想让最终的合并文件只包含这个标识符“ mrID " one time in... -
0 votes1 answers1192 views
Python:合并多个文本文件
我是Python新手,而不是编程人员 . 我有40个文本文件,我想要组合在一起(在'宽'csv中,而不是'高'csv . 也就是说,我不想附加文件)并生成一个新的csv . 使用Pandas(合并)我能够实现我想要的,但我认为有一种更简单的方法 . 这是七个文件: 将pandas导入为pd a = pd.read_csv("c:/pyTest/B01001.txt") b =...