MySQL加载数据infile - 加速？-Java 学习之路

有时，我必须为项目重新导入数据，因此在MySQL表中读取大约360万行（目前是InnoDB，但我实际上并不仅限于此引擎） . “加载数据infile ...”已被证明是最快的解决方案，但它有一个权衡： - 当没有键导入时，导入本身大约需要45秒，但密钥创建需要很长时间（已运行20分钟.. ） . - 使用表上的键进行导入会导致导入速度变慢

表中有3个字段的键，引用数字字段 . 有没有办法加速这个？

另一个问题是：当我终止启动慢查询的进程时，它继续在数据库上运行 . 有没有办法在不重启mysqld的情况下终止查询？

非常感谢DBa

3 回答

1
如果你正在使用innodb和批量加载这里有一些提示：

将您的csv文件排序为目标表的主键顺序：记住innodb使用群集主键，因此如果它已经排序，它将加载更快！

我使用的典型负载数据infile：
```
truncate <table>;

set autocommit = 0;

load data infile <path> into table <table>...

commit;
```
您可以使用其他优化来增加加载时间：
```
set unique_checks = 0;
set foreign_key_checks = 0;
set sql_log_bin=0;
```
将csv文件拆分为更小的块

我在散装货物中观察到的典型进口统计数据：
```
3.5 - 6.5 million rows imported per min
210 - 400 million rows per hour
```
回复于 2024-04-26T04:50:34+08:00
5

这篇博文近三年了，但它仍然具有相关性，并且对于优化“LOAD DATA INFILE”的性能有一些很好的建议：

http://www.mysqlperformanceblog.com/2007/05/24/predicting-how-long-data-load-would-take/

回复于 2024-04-26T04:50:34+08:00
43

InnoDB是一个非常好的引擎 . 但是，它高度依赖于“调整” . 有一件事是，如果你的插入不是增加主键的顺序，innoDB可能比MyISAM花费更长的时间 . 通过设置更高的innodb_buffer_pool_size可以轻松克服这个问题 . 我的建议是在专用的MySQL机器上将其设置为总RAM的60-70％ .

回复于 2024-04-26T04:50:34+08:00

MySQL加载数据infile - 加速？

3 回答

相关问题