问题标签 [bulk-load]

我正在用 Java 开发一个应用程序。我必须通过我的代码执行 Sybase bulk LOAD 命令。

我这样做是这样的：

该命令已成功执行，数据正在加载到我的表中。我遇到的问题是，如果我们通过dbisql执行相同的命令，我想捕获日志。

使用这种方法，我只能判断它是成功还是失败。虽然我可以使用 LOAD 命令的 MESSAGES 选项创建日志文件，但我想知道是否还有其他方法可以捕获命令行输出。

有包：RMySQL

如何将大量数据从 R 批量上传到 mysql？我有一个大约 100 万行和 80 列的 csv。

像这样的东西会起作用吗？

我担心这会逐行插入...

我有一个 SQL DB，我使用 VB.Net 代码将数据导出为 XML。代码相对简单，运行速度快，并且可以漂亮地格式化 XML。代码是：

我遇到的问题是重新加载这些数据。看起来它应该像上面那样简单，但我似乎无法找到一种简单的方法来做到这一点。

据我了解，我可以将XMLReader与ADO.NET结合使用，但在这种情况下，我需要为 DataTable 定义列，以便在将 XML 数据全部导入数据库之前将其插入。

有什么方法可以避免对 DataTable 中的列值进行硬编码，并以与上述类似的方式导入导出的 XML 数据？

我想要做的是将表复制到文件中，截断表并将数据复制回表中。

为此，我使用以下两个命令：

出：bcp TABLE out file.csv -S SERVER -U user -P password -r '\n' -t '^|' -c
入： bcp TABLE in file.csv -S SERVER -U user-P password-r '\n' -t '^|' -c -J iso_1 -b 5000

这是我得到的错误：

CSLIB Message: - L0/O0/S0/N36/1/0:
cs_convert: cslib user api layer: common library error: The result is truncated because the conversion/operation resulted in overflow.

有趣的部分（至少对我来说）是我只得到第一列是奇数的行的错误。从前 300 万行中，它减少了一半，所有行的第一列 ( the PK) 都是奇数。

我尝试了不同的选项，但似乎都不起作用：charset据我所知，没有大的列被截断，也没有carriage return丢失。

任何帮助将不胜感激。

更新：创建格式文件后没有更多错误，但它只将一半数据复制回表中。

更新：我设法创建了一个可以工作并加载所有数据的格式文件，但我不能在另一台服务器上使用它（它在测试环境中工作，它需要在生产环境中运行），因为它说Attempt to read an unknown version of bcp format-file.？我知道这意味着什么，但有没有办法找到版本的正确值？

已解决：在重新挖掘数据库后，似乎问题确实是数据不一致，因为VIEW生产中用于复制表只复制了 25 列，但表有 26 列（有人更改了表，我没有'不知道也没有注意到它发生了）。修复了View，现在它可以工作了。

我目前正在使用 rdf_loader_run() 过程将 DBpedia 和 Freebase 数据转储批量加载到 virtuoso 开源版本 v7 中。数据库在我们的服务器上，我在 Virtuoso 中为在线服务运行了另一个图形 IRI。加载过程在很大程度上影响了服务的响应率。我可以使用 isql 中的 rdf_loader_stop() 来暂时暂停加载线程，并且可以通过再次运行 rdf_loader_run() 命令恢复到之前的加载过程状态吗？
官方 Wiki 并没有很好地解释这一点。

我是 SQL 新手。我真的不知道为什么导入向导不起作用，所以我最终使用批量加载进行导入。它确实适用于我的其余文件，但迄今为止最大的文件给了我这个错误

消息 4832，级别 16，状态 1，第 18 行批量加载：在数据文件中遇到意外的文件结尾。消息 7399，级别 16，状态 1，第 18 行链接服务器“（null）”的 OLE DB 提供程序“BULK”报告了错误。提供商没有提供有关该错误的任何信息。
消息 7330，级别 16，状态 2，第 18 行无法从链接服务器“（null）”的 OLE DB 提供程序“BULK”获取行。

任何人都可以帮我解决这个问题吗？

上述方法用于填充我的数据库。但是 1000 个条目需要 50 秒我有一个包含 470k 条目的文件，我如何提高使用实体框架的性能，并且当我使用包管理器执行 PM> update-database 时调用此方法。我需要类似的功能，我对 asp.net 和实体框架非常陌生，任何指导将不胜感激。

PS：1000 个条目需要 50 秒是可以的，还是我做错了什么。

我使用 MySqlBulkLoader 将文件加载到表中。我遇到的问题是这个文件可能来自 Mac 和 Windows，这意味着 LineTerminator 可能是 \r\n 或只是 \n。有没有办法用相同的代码加载这两个.. 意思是我们可以为同一个 MySqlBulkLoader 指定多个 LineTerminators 或者有没有办法将文件中的 LineTerminators 更改为 Mac 到 CR-LF，然后进行批量加载?

任何帮助，将不胜感激。

我正在尝试将存储过程设置为 SQL Server 代理作业，它给了我以下错误，

无法批量加载，因为无法打开文件“P:\file.csv”。操作系统错误代码 3（无法检索此错误的文本。原因：15105）。[SQLSTATE 42000]（错误 4861）

有趣的是，当我手动执行存储过程时，它工作得很好。

驱动器 P: 是 Windows SQL Server 上通过 Samba Share 从 LINUX 共享的驱动器，它是通过执行以下命令设置的，

EXEC xp_cmdshell 'net use P: "\lnxusanfsd01\Data" 密码 /user:username /Persistent:Yes'

对此的任何帮助将不胜感激

我正在使用 SQLXMLBULKLOAD 库使用 xsd 加载 xml 文件。下面是来自 XSD 的部分。

上面显示的元素“信息”可以出现 10 次，我需要检查“E_Code”=“xxxx”然后只考虑信息块和 E-Amount 批量加载，否则继续下一个信息块进行相同的条件检查。是否可以在架构文件中执行此操作？

请帮忙