php - 使用 PHP 脚本解析 dmoz rdf 文件

Question

我使用了 php 脚本

http://sourceforge.net/projects/dmoz2mysql/files/

下载、提取、清理、解析和插入 dmoz 数据到 MySQL 表中。我在处理 structure.rdf 时没有遇到任何问题。

但是在解析 content.rdf 时，插入 3200000 行后突然暂停，之后没有任何反应——我不得不在等待大约一个小时后强制退出。我在 Windows 命令提示符下运行此脚本。我不知道 PHP，因此我无法找到这个问题的原因。

Answer 1

以下是一些可能对您有所帮助的故障排除技巧。

SHOW TABLE STATUS LIKE `table_name`;

这将告诉您有关您正在填写的表格的信息。重要的部分将是 Max_data_length。检查您是否对允许存储的数据量有任何限制。这对于 MyISAM 表很常见。将其与 Data_length 进行比较。如果它们匹配，则您达到了限制。这可以使用 MAX_ROWS 进行修改。MyISAM 表的常见限制是 4GB 数据。如果你被最大化，你将需要做两件事之一。对表使用 InnoDB 引擎或更改您的表：

ALTER TABLE `table_name` MAX_ROWS=1000000000 AVG_ROW_LENGTH=nnn;

请务必使用此答案中列出的第一个 STATUS 查询中列出的 Avg_row_length （或更高）。它将帮助您评估这个数字应该在哪里。请记住，如果您已经在数据库中拥有数据，这可能需要一段时间。希望能帮助到你。

快乐编码！