我的 python 项目涉及一个外部提供的数据库：大约 100K 行的文本文件。
该文件将每天更新。
我应该将它加载到 SQL 数据库中，并diff每天处理吗？或者有没有一种有效的方法来“查询”这个文本文件？
附加信息：
- 每个“条目”或行包含三个字段 - 其中任何一个都可以用作索引。
- 更新是整个数据库的形式 - 我必须手动生成一个差异
- 查询只是查找记录并显示文本。
- 查询数据库将是应用程序的一项基本任务。
问问题
335 次
2 回答
1
多久查询一次数据？在一个极端情况下，如果每天一次，您可能会比维护数据库或索引更有效地使用顺序搜索。
对于更多查询和每日更新，您可以构建和维护自己的索引以实现更高效的查询。最有可能的是，使用 SQL 数据库（或其他数据库，取决于您的需要）以换取更简单和更可维护的代码，在速度上的牺牲可以忽略不计（如果有的话）。
于 2013-02-10T08:04:50.273 回答
0
我之前所做的是从数据库提取创建的 txt 文件创建 SQLite 数据库，每天一个 SQLite 数据库。
可以跨 SQLite db 查询以检查值等并创建其他数据表。
我添加了一个额外的数据列，即文本行的 SHA1，以便我可以轻松识别不同的行。
它在我的情况下有效，希望可以为您提供最简单的想法。
于 2013-02-10T11:45:19.903 回答