问题标签 [bulk-load]

当我尝试批量上传自定义（员工）对象的 25,000 条记录时，我收到错误消息，指出“超出存储限制”。我已确保 salesforce 中没有员工对象（使用数据加载器删除）。我确保回收站已清空。使用数据加载器时，我的批量大小为 100

现在，当我使用 java 客户端和批量上传 API 尝试相同的操作时，上传工作完美，即使插入 100,000 条记录也没有错误

有谁知道为什么我只在使用 apex 数据加载器时收到此错误？

我有 2 个自定义对象 Person 和 Address。人是主人，地址是细节。我已将“个人地址”定义为主从关系。

如何在 csv 中定义数据以进行批量上传（使用参考批量上传 java 代码）？是否有任何参考 XML 文件可用于查看如何为 Salesforce 中的批量上传定义主详细信息

谢谢萨米尔

我正在尝试使用 LOAD DATA INFILE（来自 CSV）将大约 12m 条记录批量加载到（本地）mysql 中的 InnoDB 表中，并发现它需要很长时间才能完成。

主键类型是 UUID，并且键在数据文件中未排序。

我已将数据文件拆分为包含 100000 条记录的文件并将其导入为：

这对于前几十万条记录工作正常，但随后每次加载的插入时间似乎一直在增长（在我杀死它之前，从每次加载大约 7 秒到大约 2 分钟。）

我在具有 8GB RAM 的机器上运行，并将 InnoDB 参数设置为：

我还尝试加载一个包含所有行的单个 CSV，但没有运气 - 这在我杀死它之前运行了超过 2 小时。

还有什么可以加快这个速度，因为这似乎是一个过多的时间来加载 12m 记录？

我有一个 248 MB 的日志文件，它可以扩展到 GB。所以你可以想象可以有多少行。我需要将所有行导入到 SQL Server 数据库中的一个表中。为此，我首先创建一个 DataTable 并将日志文件中的所有行作为新行添加到该 DataTable 中。这发生得很快。在大约 30 秒内将超过一百万条记录添加到表中。在表中填满行后，我使用存储过程将 DataTable 中的记录导入数据库。然而，这个阶段执行得非常繁重。现在我想知道，如果我应该使用 SqlBulkCopy WriteToServer 方法，还是应该保持这种方式？如果 SqlBulkCopy 是更好的选择，那么我应该使用 DataTable 还是 IDataReader 版本。提前致谢。

如何通过 rforce gem 使用一个 API 调用在 salesforce 中获取多条记录？另外，我知道如果我的记录数 > 2000（比如 20000），一个 API 调用最多可以获取 2000 条记录，我该如何迭代和获取？

我是 HBASE 的新手，我正在尝试将数据从 HDFS 加载到 HBASE，但我无法在每次运行 MR 时得到相同的结果

错误“线程“主”java.lang.NoClassDefFoundError 中的异常：org/apache/hadoop/hbase/HBaseConfiguration”

所有类文件都在那里我不明白出了什么问题。首先运行 MR 我编译了源代码并在类路径中包含了 hadoop 和 hbase 库然后我制作了 jar 并运行它给出了相同的错误。我尝试了命令

“hbase HBaseTemperatureImporter input”然后它给出错误为“java.lang.NoClassDefFoundError：HBaseTemperatureImporter”

这也行不通。任何人都可以建议我有什么问题吗？hbase 安装是否有任何问题或在为 Hbase 运行 MR 时错过了任何步骤。提前致谢。

我正在尝试以编程方式创建 HFile 并将它们加载到正在运行的 HBase 实例中。HFileOutputFormat我在里面和里面找到了很多信息LoadIncrementalHFiles

我设法创建了新的 HFile，将其发送到集群。在集群 Web 界面中会出现新的存储文件，但新的密钥范围不可用。

有人真的做了这个工作吗？我的github上有一个可编译/可测试的版本

我正在尝试编写一个用于测试 REST 服务器的 JMeter 测试计划。服务器当前支持大约 80 个 GET 请求（加上几个 POST 和 PUT 请求）。是否有任何简单的方法可以为所有 GET 请求创建 HTTP 请求采样器，而无需手动执行它们？我可以将 URL 放在 CSV 文件中并批量加载它们吗？如何？

我正在通过 Java MapReduce 程序尝试 Hbase - bulkLoad。我在 Eclipse 中运行我的程序。

但我收到以下错误：

我google了很多，但没有找到任何解决方案。

我尝试从控制台运行相同的程序，但出现以下错误：

我的代码：

我正在尝试为 SQL Server 2008 XML 批量上传创建 XML 映射架构。我的 XML 数据文件包含将填​​充数据库中多个表的数据。到目前为止，我能够创建一个将填充多个表的映射模式。我遇到的问题是我的数据库表中有很多“查找”列。这些“查找”表包含两列：(1) 主键 ID (INT) 列和 (2)具有唯一约束的名称 (VARCHAR) 列。包含对这些查找表的外键引用的表引用主键 ID 列，而不是名字。问题是我的 XML 数据文件包含查找的名称而不是主键 ID。映射模式中是否有办法自动将这些查找的名称转换为其对应的主键 ID？