php - 使用 php 从 html 解析并处理大量数据到 sqlite

Question

我有一个适用于当地交通时间的 android 应用程序，例如公共巴士、渡轮和地铁，需要在线和离线工作。

当应用程序需要离线工作时，我需要不断更新其数据库。但是，我无法从市政府访问任何类型的网络服务或数据库。因此，我准备了一个 PHP 脚本，它将解析市政网页中的 html 内容，并提取每个公共巴士数量、每个地下组合（从哪里到哪里）和每个轮渡组合（类似于地下.)。但是，我的问题是从这里开始的。解析所有这些数据大约 100k 条记录并将它们处理到 sqlite 数据库的工作非常慢。

我是处理大量数据和 php 的新手。所以我可以接受任何建议。

谢谢，

Answer 1

您的服务器不能进行此处理并集中缓存数据库。然后，Android 应用程序所要做的就是下载数据库的压缩版本，以供离线时在本地使用。当应用程序再次在线时，它可以与您的服务器同步以检索最新数据。您甚至可以分批发送数据。然后你可以让这个 php 脚本每天抓取和抓取你的数据。