只是一个简单的问题 .
在循环中使用PDO :: fetchAll()和PDO :: fetch()之间是否有任何性能差异(对于大型结果集)?
我正在获取用户定义类的对象,如果这有任何区别 .
我最初没有受过教育的假设是fetchAll可能更快,因为PDO可以在一个语句中执行多个操作,而mysql_query只能执行一个 . 但是我对PDO的内部工作知之甚少,而且文档没有说明这一点,以及fetchAll()是否只是一个转储到数组中的PHP端循环 .
有帮助吗?
关于PHP的一件事,我发现它几乎总是真的是你自己实现的函数几乎总是比PHP等效的慢 . 这是因为当在PHP中实现某些东西时,它没有C所具有的所有编译时优化(编写了PHP)并且PHP函数调用的开销很高 .
@Arkh
// $data in this case is an array of rows; $data = $stmt->fetchAll(); // $data in this case is just one row after each loop; while($data = $stmt->fetch()){} // Try using $i = 0; while($data[$i++] = $stmt->fetch()){}
记忆差异应该变得可以忽略不计
但是,如果你将获取的数据存储在一个数组中,那么内存使用量是否相等?
<?php define('DB_HOST', 'localhost'); define('DB_USER', 'root'); define('DB_PASS', ''); // database to use define('DB', 'test'); try { $dbh = new \PDO('mysql:dbname='. DB .';host='. DB_HOST, DB_USER, DB_PASS); $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION); $sql = 'SELECT * FROM users WHERE 1'; $stmt = $dbh->query($sql); $data = array(); $start_all = microtime(true); $data = $stmt->fetchAll(); $end_all = microtime(true); $stmt = $dbh->query($sql); $data = array(); $start_one = microtime(true); while($data = $stmt->fetch()){} $end_one = microtime(true); // Second benchmark : memory usage $stmt = $dbh->query($sql); $data = array(); $memory_start_all = memory_get_usage(); $data = $stmt->fetchAll(); $memory_end_all = memory_get_usage(); $stmt = $dbh->query($sql); $data = array(); $memory_end_one = 0; $memory_start_one = memory_get_usage(); while($data[] = $stmt->fetch()){ $memory_end_one = max($memory_end_one, memory_get_usage()); } echo 'Result : fetchAll : ' . ($end_all - $start_all) . 's, ' . ($memory_end_all - $memory_start_all) . 'b fetch : ' . ($end_one - $start_one) . 's, ' . ($memory_end_one - $memory_start_one) . 'b'; } catch ( PDOException $e ) { echo $e->getMessage(); } ?> Result : fetchAll : 2.6941299438477E-5s, 9824b fetch : 1.5974044799805E-5s, 9824b
我知道这是一个古老的话题,但我遇到了同样的问题 . 运行我自己的简单“基准”并阅读其他人在这里写的内容后,我得出的结论是,这不是一门精确的科学,虽然人们应该努力编写质量,轻量代码,但在开始时浪费太多时间是没有意义的 . 该项目 .
我的建议是:通过运行代码(测试版?)一段时间来收集数据,然后开始优化 .
在我的简单基准测试中(仅测试执行时间),我的结果在5%到50%两种方式之间变化 . 我在同一个脚本中运行两个选项,但是当我首先运行fetch时它比fetchall快,反之亦然 . (我知道我应该单独运行它们并且几百次得到中位数和平均值然后进行比较,但是 - 正如我在开始时所说的那样 - 我得出结论,在我的情况下,现在开始这样做还为时尚早 . )
具有200k随机记录的小基准 . 正如所料,fetchAll方法更快但需要更多内存 .
Result : fetchAll : 0.35965991020203s, 100249408b fetch : 0.39197015762329s, 440b
使用的基准代码:
<?php // First benchmark : speed $dbh = new PDO('mysql:dbname=testage;dbhost=localhost', 'root', ''); $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION); $sql = 'SELECT * FROM test_table WHERE 1'; $stmt = $dbh->query($sql); $data = array(); $start_all = microtime(true); $data = $stmt->fetchAll(); $end_all = microtime(true); $stmt = $dbh->query($sql); $data = array(); $start_one = microtime(true); while($data = $stmt->fetch()){} $end_one = microtime(true); // Second benchmark : memory usage $stmt = $dbh->query($sql); $data = array(); $memory_start_all = memory_get_usage(); $data = $stmt->fetchAll(); $memory_end_all = memory_get_usage(); $stmt = $dbh->query($sql); $data = array(); $memory_end_one = 0; $memory_start_one = memory_get_usage(); while($data = $stmt->fetch()){ $memory_end_one = max($memory_end_one, memory_get_usage()); } echo 'Result : fetchAll : ' . ($end_all - $start_all) . 's, ' . ($memory_end_all - $memory_start_all) . 'b fetch : ' . ($end_one - $start_one) . 's, ' . ($memory_end_one - $memory_start_one) . 'b';
正如Mihai Stancu所说,尽管fetchAll胜过fetch,但几乎没有内存差异 .
Result : fetchAll : 0.160676956177s, 118539304b fetch : 0.121752023697s, 118544392b
我在正确运行时得到了上面的结果:
$i = 0; while($data[$i++] = $stmt->fetch()){ // }
所以fetchAll消耗更少的内存,但是获取更快! :)
测量“内存占用”的所有基准实际上都是不正确的,原因很简单 .
默认情况下,PDO会将所有内容加载到内存中,如果使用fetch或fetchAll则无关紧要 . 要真正获得无缓冲查询的好处,您应该指示PDO使用无缓冲的查询:
$db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
在这种情况下,您将看到脚本的内存占用量存在巨大差异
7 回答
关于PHP的一件事,我发现它几乎总是真的是你自己实现的函数几乎总是比PHP等效的慢 . 这是因为当在PHP中实现某些东西时,它没有C所具有的所有编译时优化(编写了PHP)并且PHP函数调用的开销很高 .
@Arkh
记忆差异应该变得可以忽略不计
但是,如果你将获取的数据存储在一个数组中,那么内存使用量是否相等?
我知道这是一个古老的话题,但我遇到了同样的问题 . 运行我自己的简单“基准”并阅读其他人在这里写的内容后,我得出的结论是,这不是一门精确的科学,虽然人们应该努力编写质量,轻量代码,但在开始时浪费太多时间是没有意义的 . 该项目 .
我的建议是:通过运行代码(测试版?)一段时间来收集数据,然后开始优化 .
在我的简单基准测试中(仅测试执行时间),我的结果在5%到50%两种方式之间变化 . 我在同一个脚本中运行两个选项,但是当我首先运行fetch时它比fetchall快,反之亦然 . (我知道我应该单独运行它们并且几百次得到中位数和平均值然后进行比较,但是 - 正如我在开始时所说的那样 - 我得出结论,在我的情况下,现在开始这样做还为时尚早 . )
具有200k随机记录的小基准 . 正如所料,fetchAll方法更快但需要更多内存 .
使用的基准代码:
正如Mihai Stancu所说,尽管fetchAll胜过fetch,但几乎没有内存差异 .
我在正确运行时得到了上面的结果:
所以fetchAll消耗更少的内存,但是获取更快! :)
测量“内存占用”的所有基准实际上都是不正确的,原因很简单 .
默认情况下,PDO会将所有内容加载到内存中,如果使用fetch或fetchAll则无关紧要 . 要真正获得无缓冲查询的好处,您应该指示PDO使用无缓冲的查询:
$db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
在这种情况下,您将看到脚本的内存占用量存在巨大差异