问题标签 [bulkloader]

我在看Google App Engine bulkloader 转换的参考页面在哪里？并找出了我的大部分 bulkloader.yaml 配置，但一种情况除外。

我的一种“产品”有一个名为 site 的属性。如果存在，这是客户类型和站点类型的深层密钥。现在我遇到的问题是 non_if_empty。在以下情况下，它永远不会创建深度密钥。它总是一无所获。如果我删除 transform.none_if_empty 它将失败，因为我的输入文件对于其中一些值有空的整体。我怎样才能使这项工作？如何将 none_if_empty 与 create_deep_key 一起使用

我正在尝试将 C# 代码中的 SQLXMLBulkLoader4 用于 SQL 2008 DB。但是由于某种原因，尽管没有抛出任何错误，但它根本不会插入任何行。我使用了 bulkloads 自己的 ErrorLog 文件（检查可能不会导致崩溃的任何错误），但没有报告错误。

我有一个从供应商处下载的 XML 文件（基本上是产品列表），我编写了一个 XSD 以将字段与我们的数据库匹配。没有其他任何东西写入这些特定的表，也没有使用这些文件。

我的 BulkLoad 代码如下所示（我删除了实际的连接字符串值）：

XML 看起来像这样（精简，下面的所有内容只是更多的产品字段，然后是更多的产品）：

我写的 XSD 看起来像这样（再次缩短）：

我对命名空间视而不见，但它们对我来说是正确的。（阅读许多类似的错误，其中不同的名称空间是原因）。代码在我的计算机上运行，​​我的计算机和带有数据库的计算机都可以访问包含 XML 和 XSD 文件的网络文件夹。

我已经尝试故意更改两个文件中的一些字段名称，并且 BulkLoader 突然在我刚刚更改的字段上引发错误。

我已经将我的 BulkLoader 代码和 XSD 与我在网上找到的示例进行了比较，但我找不到任何可以解释这种行为的差异。
我可能很容易忽略它，但我只是没有看到它。

任何为我指明正确方向的帮助都深受欢迎。

先感谢您！

（PS对不起，如果帖子以某种方式关闭，这是我第一次在这里发帖，但是我确实做了我的研究，我确实尝试遵循关于如何发布的指南=））

我以前使用GAE 文档中描述的方法将我的实体的备份下载到实时数据存储中。

目前，我通过编写bulkloader.yaml和使用以下命令获得了每个实体类型的 csv 文件：

我还有一个使用以下命令获得的 sql3 转储文件：

现在如果我尝试这个命令：

用 localhost:8080 替换 URL，它要求我输入用户名/密码。现在，即使提供一个模拟用户名 (test@example.com)http://localhost:8080/_ah/remote_api并选中“管理员”复选框，它总是会给我一个身份验证错误。

文档中提到的另一种选择是使用这个：

我写了一个加载器，试了一下，它还要求输入用户名和密码，但它在这里接受任何东西。输出如下：

我总共有大约 4000 个实体，这里说有 980 个被转移，但实际上我检查了本地数据存储，但我没有找到它们。

下面是我使用的加载器（我用于NDBGuess 实体）

编辑：我只是注意到错误消息中的这一部分，[ERROR ] Error in WorkerThread-0: Expected 17 columns, found 18.而实际上我只是浏览了整个 csv 文件，并确保每一行都有 18 列。我检查了加载器，发现我缺少key列，我给它一个类型int，但这不起作用。

有没有办法增量使用批量加载器？

我想在一夜之间导出所有 X 类型的实体，然后在一天后导出任何可能已创建的新实体。

（我很有希望，因为批量加载程序会创建进度和结果 sql 文件，这可能是可能的。但我在文档中没有看到它 - 不太希望。）

我们正在使用 Bulk Api 来更新自定义和标准 Salesforce 对象的记录。它适用于自定义对象，但是当我们尝试对标准 Salesforce 对象执行 Upsert 操作时说：帐户，指定无效外部 ID 的错误指定为：

[AsyncApiException exceptionCode='InvalidJob' exceptionMessage='提供的字段名称，名称与外部 ID、Salesforce Id 或客户的索引字段不匹配']

我们通过 java 代码提供 Name 作为外部 ID。

我正在尝试使用下载数据

但我明白了。我应该怎么做才能获取数据？

我对 Python 和 GAE 还是很陌生。我在本地服务器上有一个运行良好的应用程序。我可以将实体添加到我的数据存储中，我可以查看我的网站等：一切都很好。

现在我正在尝试使用 bulkloader 将实体添加到我的数据存储区。我按照https://developers.google.com/appengine/docs/python/tools/uploadingdata上的教程进行操作。我的装载机如下：

我收到错误消息：

有没有人可以解决这个问题？

注意：我只使用一个目录。my_model所以我的加载器与导入模块的其他文件位于同一位置。

嗨，我正在使用MySQL批量加载器将数据从 Amazon 服务转储到 linux 服务器上的本地表，但是每次执行它时，它都会在 MySQL 批量加载器步骤中失败，说

错误日志说

任何人都可以帮助为什么这个数组索引越界错误即将到来，我已经验证了前面的行，有很多行并且它们都没有空值

I am using google app engine with java. In my web.xml i added following code:

Now when i write following command:

and i get following text in command prompt:

Can anybody please tell me why permission is denied. Thanks in advance.

我开始使用在 bulkloader.yaml 中配置的 bulkLoader 从 Google AppEngine 导出数据。对于像 string、int 和 bool 这样的“标准”数据，这没问题。即使是单个密钥也可以轻松导出。

现在我有一些数据db.ListProperty(db.Keys)并且导出失败。在我试过的 export_transform 中，看到 ??? 在下面的 bulkloader_config.yaml 中：

• transform.key_id_or_name_as_string
• transform.create_deep_key(('Coupon', db.Key))
• join_list(",")
• 和许多其他来自http://googleappengine.googlecode.com/svn/trunk/python/google/appengine/ext/bulkload/transform.py

知道如何导出密钥列表吗？

数据模型.py

bulkloader_config.yaml