问题标签 [bulk-import]

我确定这是一个常见问题，但我似乎无法准确找到我正在寻找的帮助。道歉！

我正在尝试从 CSV 文件执行批量插入——我需要将数据插入的表有一些不能为空的字段——比如通常使用生成的行唯一标识符字段newid()，以及其他一些字段，例如作为进行更改的用户的 ID 号等...

在网上四处逛逛，我想我知道如果 CSV 文件包含与表相同数量的字段，或者如果可以将缺少的字段保留为空或默认，则如何进行基本的批量导入，但我无法找到某处向我展示了如何从 CSV 文件中分配一些值，以及如何预定义其他所需的表值。如果有人能告诉我如何从 CSV 导入，我可以从存储过程中的变量中分配缺失的字段，那将非常有帮助！

有小费吗？这是我一直试图用来完成这项工作的代码。

我有一个包含数据的大型 XML 文档 (~10 mb)。我需要解析这个 XML 并通过我的数据库来更新它。有3种情况：

• 自上次以来 XML 中存在新数据 - 将其插入数据库
• 项目已更改 - 在数据库中更新它
• 自上次以来已从 XML 中删除了一项 - 在数据库中将其标记为禁用

如果自上次检查 XML 以来项目的数据没有更改，则不采取任何措施。XML 中的每个项目都有自己的 ID，因此我可以轻松地从数据库中检索它。

虽然迭代这样的项目真的很慢，但我需要数据库的关系方面（XML 表示用户可以购买的项目，所以我不能为这些项目生成新的 ID，而只是批量加载它们）。

实现这一点的最佳方式是什么，因为循环遍历 XML 并单独查找每个项目真的很慢。

这是使用 PHP 到 MySQL 数据库中完成的。

== 编辑 ==

这个过程的基本循环如下：

脚本如此缓慢的原因是因为我不能使用任何类型的批量操作，如 LOAD DATA INFILE，因为对于 XML 中的每个条目，我需要检查对象是否已经存在。

所以我真的想知道是否有人可以提出另一种方法，让我能够在保持现有数据的参照完整性的同时批量加载数据。

我有一个 csv 文件，其中包含带有零星文本限定符的字段（因为某些字段信息的值中有逗号）

我知道我可以使用格式文件，但格式文件可以处理间歇性文本限定符吗？

这是一个例子

请注意，文本限定的字段可以是任何字段

我需要帮助将散装产品导入我们的 magento 多商店配置中的商店。产品应具有名称、图像、类别、描述、自定义选项（按固定价格确定尺寸）。我创建了一个 csv 并能够成功上传产品，但尺寸没有与定价一起显示。图像也没有出现在前端。我上传到 media/import 并在三个 csv 列中进行了编辑。我还在字母系统下直接创建了一个，例如如果图像名称以 ab 开头，我将创建目录 a/b/image.jpg 并将它们放在 csv 的三个区域中。任何帮助是极大的赞赏。

我必须导入包含双引号的数据的文本文件。实际上我已经创建了一个包含 aix 命令及其解释的文本文件。

现在命令包含双引号。因此，使用将批量数据导入 SQL Server 2005 的常规方法出现错误。

我的文本文件是这样的：

有人可以指导我如何在 SQL Server 2005 中导入这些数据吗？

我有一组 xml 文件，我想解析数据并将其导入 sql server 2012 数据库。提供的 xml 文件将根据模式进行验证。

我正在寻找这样做的最佳方法是什么。我发现了这个：http: //msdn.microsoft.com/en-us/library/ms171878.aspx

我想知道这是最好的方法还是还有其他方法？

我在将 .csv 文件导入 sql 表时遇到了一个奇怪的问题。从 .csv 批量导入不会出现任何错误并且可以正常完成，但不会将数据导入 SQL 表中。.csv 中有数据

但是，当我在 excel 中打开 .csv 并再次将其另存为 .csv 时，尝试批量导入，检查表格并且数据在那里。

关于它可能是什么的任何想法？如果是编码问题，我如何在导入或强制 sql 导入之前检查 .csv 文件的编码，无论如何。

谢谢。

这是我的 sql

当我运行 sql 时出现此错误

消息 4866，级别 16，状态 1，第 1 行
批量加载失败。

数据文件中第 1 行第 1 列的列太长。请验证是否正确指定了字段终止符和行终止符。

消息 7399，级别 16，状态 1，第 1 行
链接服务器“（null）”的 OLE DB 提供程序“BULK”报告了错误。提供商没有提供有关该错误的任何信息。

消息 7330，级别 16，状态 2，第 1
行无法从链接服务器“（null）”的 OLE DB 提供程序“BULK”获取行。

请帮我。我已经尝试了很多方法，但仍然得到同样的错误。

我想将 CSV 批量上传到 cassandra 2.0.3。现在我已经成功地将 CSV 转换为 sstables。

但是，当我运行 sstableloader 时，会出现如下错误消息。这个错误是否会影响我的批量加载，因为我在 cassandra 2.0.3 中找不到导入的数据？

我想将 CSV 数据批量导入 Drupal 7。这是场景：

• 我正在使用 3 个实体组合并形成第 4 个实体；
• 我必须使用此 CSV 导入执行 CRUD 操作；

这个过程随着时间的推移而变慢：CSV 中有大约 18000 条记录，并且这个数字将来可能会增加。

我怎样才能提高性能？