0

讨论问题:

我有一个 CSV 文件,我通过 rails 应用程序将其导入到我的数据库中。

如果由于某种原因导入在中途停止,文件已被标记为正在导入,因此它不会再次导入,但它并不完整。

有人建议我采取的第一步是将文件数据导入表中,然后我可以处理记录,如果过程停止,我可以从中断的地方继续。我看到的问题是当前存储为 zip 的文件数据将被分解到数据库中,占用的空间比它需要的要多。我目前还为每次导入生成一个文件 (response.csv),其中包含原始数据,但带有响应。

我想知道其他人是如何处理这个问题的。导入大量数据的“rails”方式是什么?什么是最佳做法..

4

1 回答 1

0

任何一个:

  • 分别导入每一行,以便您可以从离开的地方拿起
  • 使用事务,以便在操作完成之前不会将更改提交到数据库
于 2012-11-26T20:00:59.877 回答