2

我的 python 项目涉及一个外部提供的数据库：大约 100K 行的文本文件。

该文件将每天更新。

我应该将它加载到 SQL 数据库中，并diff每天处理吗？或者有没有一种有效的方法来“查询”这个文本文件？

附加信息：

  • 每个“条目”或行包含三个字段 - 其中任何一个都可以用作索引。
  • 更新是整个数据库的形式 - 我必须手动生成一个差异
  • 查询只是查找记录并显示文本。
  • 查询数据库将是应用程序的一项基本任务。
4

2 回答 2

1

多久查询一次数据？在一个极端情况下，如果每天一次，您可能会比维护数据库或索引更有效地使用顺序搜索。

对于更多查询和每日更新，您可以构建和维护自己的索引以实现更高效的查询。最有可能的是，使用 SQL 数据库（或其他数据库，取决于您的需要）以换取更简单和更可维护的代码，在速度上的牺牲可以忽略不计（如果有的话）。

于 2013-02-10T08:04:50.273 回答
0

我之前所做的是从数据库提取创建的 txt 文件创建 SQLite 数据库，每天一个 SQLite 数据库。

可以跨 SQLite db 查询以检查值等并创建其他数据表。

我添加了一个额外的数据列，即文本行的 SHA1，以便我可以轻松识别不同的行。

它在我的情况下有效，希望可以为您提供最简单的想法。

于 2013-02-10T11:45:19.903 回答