我有一个 3 GB 的大型 CSV 文件,我想使用 Blaze 来调查数据,选择我感兴趣的分析数据,最终目标是将这些数据迁移到合适的计算后端,例如 SQlite , PostgresSQL 等。我可以将这些数据放入 Blaze 并正常工作,但这是我遇到问题的部分:
db = odo(bdata, 'sqlite:///report.db::report')`
我不确定如何正确创建要使用 sqlite 打开的 db 文件。
您可以使用此处列出的说明直接从 CSV 转到 sqlite。 http://odo.pydata.org/en/latest/perf.html?highlight=sqlite#csv-sqlite3-57m-31s 我认为您缺少此处警告的列名:http://odo.pydata。 org/en/latest/sql.html?highlight=sqlite
dshape = discover(resource('report_2015.csv'))
t = odo('report_2015.csv', 'sqlite:///report.db::report', dshape=dshape)