首页 文章
  • 25 votes
     answers
     views

    MySQL加载数据infile - 加速?

    有时,我必须为项目重新导入数据,因此在MySQL表中读取大约360万行(目前是InnoDB,但我实际上并不仅限于此引擎) . “加载数据infile ...”已被证明是最快的解决方案,但它有一个权衡: - 当没有键导入时,导入本身大约需要45秒,但密钥创建需要很长时间(已运行20分钟.. ) . - 使用表上的键进行导入会导致导入速度变慢 表中有3个字段的键,引用数字字段 . 有没有办法加速这...
  • 2 votes
     answers
     views

    如何使用LOAD DATA INFILE导入大数据文件时保持MYSQL性能?

    我正在使用大型数据库(一些表500000000行) . 每天应使用LOAD DATA INFILE替换3-10百万行,每次导入大约100万行(使用CRON每天3-10次) . 问题是,在进行如此大的文件导入时,MySQL会占用80%的CPU,并且所有来自网站的常见查询变得非常慢或网站性能下降 . 站点在Amazon的EC2 Windows 2008服务器下运行 . 有谁知道如何在一个EC2实例中解...
  • 5 votes
     answers
     views

    什么mysql设置会影响LOAD DATA INFILE的速度?

    让我说明一下情况 . 我们试图将适度数量的行(大约每天10-20M)插入到适度宽的MyISAM表中: +--------------+--------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------------+-------...
  • 2 votes
     answers
     views

    在PHP中,有没有办法检查MySQL是否启用了'LOAD DATA INFILE'

    我有一个需要导入MySQL的csv文件 . 最初,我决定使用MySQL 's built-in ' LOAD DATA LOCAL INFILE'语句来导入CSV文件 . 出于某些原因,我们的服务器上禁用了此语句的用法 . Reasons 随着我对这个问题的研究和发展,我得出了具体的结论,即如果不改变,就没有办法克服这种情况 . 哪个当然我不想碰 . 研究 Security Issues ...
  • 80 votes
     answers
     views

    MYSQL使用LOAD DATA INFILE从csv导入数据

    我将一些包含20000行的数据从CSV文件导入到Mysql中 . CSV中的列与MySQL表的列的顺序不同 . 如何自动分配与Mysql表列对应的列? 当我执行 LOAD DATA INFILE'abc.csv' INTO TABLE abc 此查询将所有数据添加到第一列 . 请建议将数据导入Mysql的自动语法 .
  • 0 votes
     answers
     views

    Yii2 LOAD DATA LOCAL INFILE

    我知道这个问题有其他解决办法,但它对我不起作用 . 我试图通过Yii2网站在MySQL数据库中执行LOAD DATA LOCAL INFILE语句 . 我过去有这个工作,所以我不确定为什么它不再起作用了 . 我收到以下错误: SQLSTATE [42000]:语法错误或访问冲突:1148此MySQL版本不允许使用used命令 我的db.php配置文件中有以下设置 . 'attributes' ...
  • 142 votes
     answers
     views

    MySQL从CSV数据加载NULL值

    我有一个文件,可以包含3到4列数字,用逗号分隔 . 当空字段位于行的末尾时,将定义空字段: 1,2,3,4,5 1,2,3,,5 1,2,3 下表是在MySQL中创建的: +-------+--------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-------+----...
  • 16 votes
     answers
     views

    将CSV导入MySQL

    我创建了一个数据库和一个表 . 我还创建了我需要的所有字段 . 我创建了46个字段,其中一个是我的行ID . CSV不包含ID字段,也不包含列的 Headers . 我是所有这一切的新手,但一直试图解决这个问题 . 我不是在这里懒得问答案,而是寻找方向 . 我正在试图弄清楚如何导入CSV但让它从第2个字段开始导入数据,因为我希望auto_increment将填充ID字段,这是我创建的第一个字段...
  • 0 votes
     answers
     views

    如何将多个CSV文件导入一个MySQL表?

    我有一张儿童桌: create table Battery( Battery_Number primary key, Pack_Position, Pack_Number, Assembly_ID, foreign key (Pack_Number) references Pack(Pack_Number), foreign key (Assembly_ID) references As...
  • 2 votes
     answers
     views

    mysql加载数据本地infile

    我正在尝试使用下面的代码使用LOAD DATA LOCAL INFILE将数据加载到mysql表中 . MySQL的: LOAD DATA INFILE '/var/www/vhosts/domain.com/httpdocs/test1.csv' INTO TABLE temp_table FIELDS TERMINATED BY ',' ENCLOSED BY '\"' LINES ...
  • 2 votes
     answers
     views

    如何使用mysql LOAD XML LOCAL INFILE导入xml文件

    我需要帮助将xml文件导入表中,xml文件有数百万条记录 . 首先我使用simplexml_load_file然后放一个循环来逐个插入记录,这需要花费很多时间 . 我已经使用infile用于csv,这是完美的,任何人都可以帮助,我怎么能用xml做同样的事情 . 我正在尝试 LOAD XML LOCAL INFILE "C:/xampp/htdocs/class/on_the_list.x...
  • 0 votes
     answers
     views

    将csv导入mysql时,日期字段值错误

    我正在使用加载数据将csv文件导入mysql . 我的加载数据命令如下所述 . load data local infile 'D:/mydata.csv' into table mydb.mydata fields terminated by ',' enclosed by '"' lines terminated by '\r\n' ignore 1 lines (SrNo,Sou...
  • 93 votes
     answers
     views

    将CSV导入mysql表

    将csv文件上传到mysql表的最佳/最快方法是什么?我想将第一行数据用作列名 . 发现这个: How to import CSV file to MySQL table 但唯一的答案是使用GUI而不是shell?
  • -1 votes
     answers
     views

    LOAD DATA INFILE与数据库复制 - 性能

    我们需要每天两次重建部分数据,无法编辑现有数据库 . 我们删除旧数据库,脚本创建一个新数据库 . LOAD DATA INFILE 工作正常,'s fast, but the problem is that it slows down the whole database while it' s加载数据(大约10秒) . 有没有办法限制查询硬件使用,在 生产环境 数据库上使用 LOAD DAT...
  • 240 votes
     answers
     views

    如何将CSV文件导入MySQL表

    我有一个来自客户端的非标准化事件日记CSV,我正在尝试将其加载到MySQL表中,以便我可以重构为一种理智的格式 . 我创建了一个名为“CSVImport”的表,它为CSV文件的每一列都有一个字段 . CSV包含99列,因此这本身就是一项非常艰巨的任务: CREATE TABLE 'CSVImport' (id INT); ALTER TABLE CSVImport ADD COLUMN Titl...

热门问题