我有一个网站,每周上传一次赛马数据的 CSV。CSV 包含目前在英国注册的约 19,000 匹赛马的详细信息,平均大小约为 1.3MB。我有一个脚本来处理该 csv 并且如果它存在并且评级数据已更改,则更新马,或者如果它不存在则添加它。如果一匹马没有变化,它会跳到下一匹马。该脚本有效,因为它在我用作测试的主机上运行。运行需要 5 或 6 分钟(我知道不太理想),但它奏效了。
但是,我们现在正在客户端主机的暂存版本上进行测试,它运行了 15 分钟,然后返回 504 超时。我们已经尽可能地调整了 htaccess 和 php.ini 设置……不高兴。
主机处于共享环境中,所以他们告诉我 MySQL 的 LOAD DATA 对我们不可用。
您会尝试哪些其他替代方法?或者,例如,有没有办法将 CSV 拆分成块并依次在每个块上运行一个进程?