9

我正在寻找一种非常快速的方法来读取 csv 文件。我的数据结构如下所示:

timestamp ,float     , string    ,ip          ,string
1318190061,1640851625, lore ipsum,84.169.42.48,appname

我正在使用 fgetcsv 将这些数据读入数组。

问题:性能。脚本必须定期读取(和处理)超过 10,000 个条目。

我的第一次尝试很简单:

//Performance: 0,141 seconds / 13.5 MB

while(!feof($statisticsfile)) 
    {
    $temp = fgetcsv($statisticsfile);
    $timestamp[] = $temp[0];
    $value[] = $temp[1];
    $text[] = $temp[2];
    $ip[] = $temp[3];
    $app[] = $temp[4];
    }

我的第二次尝试:

//Performance: 0,125 seconds / 10.8 MB

while (($userinfo = fgetcsv($statisticsfile)) !== FALSE) {
   list ($timestamp[], $value[], $text, $ip, $app) = $userinfo;
}
  1. 有什么方法可以进一步提高性能,或者我的方法是否尽可能快?
  2. 可能更重要:有什么方法可以定义读取的列,例如有时只需要时间戳、浮点列。有没有比我的方法更好的方法(看看我的第二次尝试:)

谢谢 :)

4

2 回答 2

2

最长的线路有多长?将其作为第二个参数传递给 fgetcsv(),您将看到最大的改进。

于 2012-09-13T05:10:37.440 回答
0

检查 PHP 读取此文件的时间:

如果是 bigg 将文件移动到 ramdisk 或 SSD

  1. [..]有时只有时间戳

类似的东西

preg_match_all('#\d{10},\d{10}, (.*?),\d.\d.\d.\d,appname#',$f,$res);

print_r($res);
于 2011-10-10T02:54:14.280 回答