问题标签 [data-import]

我们需要将大量数据（大约 500 万条记录）导入到 rails 应用程序下的 postgresql db。数据将以 xml 格式提供，其中的图像使用 Base64 编码。

xml 文件的估计大小为 40GB。什么 xml 解析器可以在 ruby​​ 中处理这么多的数据？

谢谢。

我使用了 zohmg 并成功地在 HBase 中创建了映射器、表并测试导入了我的数据（使用 --local 开关）。
但是我在映射到 HBase 后插入数据时遇到问题，这是我得到的错误：

你有什么线索可以帮助我解决它吗？（或者也许这是我对 Dumbo 的问题？）

我已经生成了脚本并在我的计算机中创建了架构。现在我怎样才能得到表格数据？我在远程数据库中没有足够的访问权限来复制它。可以使用sql server完成吗？

我正在尝试使用导入数据向导将 SQL Server 2005 上的数据库中的所有表和视图复制到 SQL Server 2008 上的数据库中，但运行一段时间后，它只是从 570 个表和视图中复制了 230 个表并给出了以下内容警告。

警告 0x80019002：数据流任务 46：SSIS 警告代码 DTS_W_MAXIMUMERRORCOUNTREACHED。Execution 方法成功，但引发的错误数 (1) 达到了允许的最大值 (1)；导致失败。当错误数量达到 MaximumErrorCount 中指定的数量时，就会发生这种情况。更改 MaximumErrorCount 或修复错误。（SQL Server 导入和导出向导）

对此最好的解决方法是什么？如何更改最大错误计数？

尝试复制数据库时出现以下错误，此时它已停止。

错误 0xc0047008：数据流任务 46：包中包含两个对象，其名称为“输出列“ErrorCode”(720)”和“输出列“ErrorCode”(737)”的重复名称。

警告 0x80019002：数据流任务 46：SSIS 警告代码 DTS_W_MAXIMUMERRORCOUNTREACHED。Execution 方法成功，但引发的错误数 (1) 达到了允许的最大值 (1)；导致失败。当错误数量达到 MaximumErrorCount 中指定的数量时，就会发生这种情况。更改 MaximumErrorCount 或修复错误。（SQL Server 导入和导出向导）

我一直在创建使用 SSIS 将数据导入临时表的导入，然后使用存储过程，使用游标逐个遍历数据以处理数据并将信息插入到 3 个不同的表中。前 2 个表中的插入很复杂，因为如果已经存在具有相同数据的记录，则不会创建该记录。无论前 2 个表中是否插入了一条记录，都会返回记录或匹配记录的 ID 以在第 3 个表中使用。有没有使用光标的替代方法？

我有一个 10001 行的文本文件，其中第一行包含属性的名称，以下行包含值。属性类型是混合的（字符串和浮点数）并由 '\t' 分隔。

有谁知道将此类文本文件导入matlab并将这些数据组织成适当的结构以进行进一步分析的最佳方法是什么？

我想将这些数据用于某些数据挖掘应用程序，因此如果每列也可以包含元数据（变量类型、数字/分类值...），那将非常有用

感谢你的建议！

bulkloader.yaml：

模型.py：

一切似乎都很好，但是当我上传时出现此错误： BadValueError: Property data is 24788 bytes long; it must be 500 or less. Consider Text instead, which can store strings of any length.

出于某种原因，它认为 data 是一个字符串属性。

有谁知道我该如何解决这个问题？

我正在尝试将数据从 CSV 文件导入 SQL Server 2008 表。数据上传正在工作，但我只想导入选定的列，而不是全部，并将它们添加到一个新表中，相同的编号。列，使用向导，但它没有发生，向导正在选择所有列。

那么是否可以使用向导只导入选定的列。

我正在尝试将大量文件导入 Matlab 进行处理。典型的文件如下所示：

两列中的数字用 8 个空格隔开。但是，有时实验会出错，机器会生成一个像这样的数据文件：

我发现使用带有单个标题行的空格分隔文件，即

最适合普通文件。但是，它在所有异常文件上都完全失败。解决这个问题的最简单方法是什么？我应该坚持使用 importdata（已经尝试了所有可能的设置，但它不起作用）还是应该尝试编写自己的解析器？理想情况下，我想在正常文件的 Nx2 矩阵和异常文件的 [0 0] 矩阵中获取这些值。

谢谢。