我应该为网络爬虫使用哪个数据库引擎，InnoDB 或 MYiSAM？我有两台电脑，每台都有 1TB 硬盘。如果一个填满，我希望它自动保存到另一台 PC，但读取应该转到正确的 PC；我怎么做？
问问题
389 次
2 回答
1
至于您问题的第一部分，这取决于您的精确实施。如果您将有一个受网络带宽限制的爬虫，那么 MYiSAM 可以更快。如果您使用多个爬虫，那么 InnoDB 将为您提供诸如事务之类的优势，这可能会有所帮助。
AFAIK MySQL 不支持您建议的硬件配置。如果您需要大容量存储，您可能需要查看 MySQL Cluster。
于 2010-08-17T15:29:18.197 回答
0
MyISAM 是首选，因为您将拥有只写操作和爬虫——甚至并行运行——将被配置——我想——来爬取不同的域/url。所以你不需要处理访问冲突。
当向 Mysql 写入大量数据，尤其是文本！时，请避免使用事务、索引等，因为这会大大降低 MySQL 的速度。
于 2010-08-19T12:31:16.817 回答