问题标签 [bulkloader]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-app-engine - 如何将 none_if_empty 与 create_deep_key 一起使用?
我在看Google App Engine bulkloader 转换的参考页面在哪里?并找出了我的大部分 bulkloader.yaml 配置,但一种情况除外。
我的一种“产品”有一个名为 site 的属性。如果存在,这是客户类型和站点类型的深层密钥。现在我遇到的问题是 non_if_empty。在以下情况下,它永远不会创建深度密钥。它总是一无所获。如果我删除 transform.none_if_empty 它将失败,因为我的输入文件对于其中一些值有空的整体。我怎样才能使这项工作?如何将 none_if_empty 与 create_deep_key 一起使用
c# - SQLXML BulkLoader 没有抛出任何错误,但没有插入数据
我正在尝试将 C# 代码中的 SQLXMLBulkLoader4 用于 SQL 2008 DB。但是由于某种原因,尽管没有抛出任何错误,但它根本不会插入任何行。我使用了 bulkloads 自己的 ErrorLog 文件(检查可能不会导致崩溃的任何错误),但没有报告错误。
我有一个从供应商处下载的 XML 文件(基本上是产品列表),我编写了一个 XSD 以将字段与我们的数据库匹配。没有其他任何东西写入这些特定的表,也没有使用这些文件。
我的 BulkLoad 代码如下所示(我删除了实际的连接字符串值):
XML 看起来像这样(精简,下面的所有内容只是更多的产品字段,然后是更多的产品):
我写的 XSD 看起来像这样(再次缩短):
我对命名空间视而不见,但它们对我来说是正确的。(阅读许多类似的错误,其中不同的名称空间是原因)。代码在我的计算机上运行,我的计算机和带有数据库的计算机都可以访问包含 XML 和 XSD 文件的网络文件夹。
我已经尝试故意更改两个文件中的一些字段名称,并且 BulkLoader 突然在我刚刚更改的字段上引发错误。
我已经将我的 BulkLoader 代码和 XSD 与我在网上找到的示例进行了比较,但我找不到任何可以解释这种行为的差异。
我可能很容易忽略它,但我只是没有看到它。
任何为我指明正确方向的帮助都深受欢迎。
先感谢您!
(PS对不起,如果帖子以某种方式关闭,这是我第一次在这里发帖,但是我确实做了我的研究,我确实尝试遵循关于如何发布的指南=))
google-app-engine - 如何将在线 GAE 数据存储中的数据加载到本地开发服务器中?
我以前使用GAE 文档中描述的方法将我的实体的备份下载到实时数据存储中。
目前,我通过编写bulkloader.yaml
和使用以下命令获得了每个实体类型的 csv 文件:
我还有一个使用以下命令获得的 sql3 转储文件:
现在如果我尝试这个命令:
用 localhost:8080 替换 URL,它要求我输入用户名/密码。现在,即使提供一个模拟用户名 (test@example.com)http://localhost:8080/_ah/remote_api
并选中“管理员”复选框,它总是会给我一个身份验证错误。
文档中提到的另一种选择是使用这个:
我写了一个加载器,试了一下,它还要求输入用户名和密码,但它在这里接受任何东西。输出如下:
我总共有大约 4000 个实体,这里说有 980 个被转移,但实际上我检查了本地数据存储,但我没有找到它们。
下面是我使用的加载器(我用于NDB
Guess 实体)
编辑:我只是注意到错误消息中的这一部分,[ERROR ] Error in WorkerThread-0: Expected 17 columns, found 18.
而实际上我只是浏览了整个 csv 文件,并确保每一行都有 18 列。我检查了加载器,发现我缺少key
列,我给它一个类型int
,但这不起作用。
python - 是否可以使用bulkloader 进行增量导出?
有没有办法增量使用批量加载器?
我想在一夜之间导出所有 X 类型的实体,然后在一天后导出任何可能已创建的新实体。
(我很有希望,因为批量加载程序会创建进度和结果 sql 文件,这可能是可能的。但我在文档中没有看到它 - 不太希望。)
java - 批量 API 错误:标准 Salesforce 对象上的 Upsert
我们正在使用 Bulk Api 来更新自定义和标准 Salesforce 对象的记录。它适用于自定义对象,但是当我们尝试对标准 Salesforce 对象执行 Upsert 操作时说:帐户,指定无效外部 ID 的错误指定为:
[AsyncApiException exceptionCode='InvalidJob' exceptionMessage='提供的字段名称,名称与外部 ID、Salesforce Id 或客户的索引字段不匹配']
我们通过 java 代码提供 Name 作为外部 ID。
python - 批量加载程序 appcfg.py
我正在尝试使用下载数据
但我明白了。我应该怎么做才能获取数据?
google-app-engine - bulkloader 不导入 ndb.model
我对 Python 和 GAE 还是很陌生。我在本地服务器上有一个运行良好的应用程序。我可以将实体添加到我的数据存储中,我可以查看我的网站等:一切都很好。
现在我正在尝试使用 bulkloader 将实体添加到我的数据存储区。我按照https://developers.google.com/appengine/docs/python/tools/uploadingdata上的教程进行操作。我的装载机如下:
我收到错误消息:
有没有人可以解决这个问题?
注意:我只使用一个目录。my_model
所以我的加载器与导入模块的其他文件位于同一位置。
mysql - MySQL 批量加载程序 - java.lang.ArrayIndexOutOfBoundsException: -1
嗨,我正在使用MySQL
批量加载器将数据从 Amazon 服务转储到 linux 服务器上的本地表,但是每次执行它时,它都会在 MySQL 批量加载器步骤中失败,说
错误日志说
任何人都可以帮助为什么这个数组索引越界错误即将到来,我已经验证了前面的行,有很多行并且它们都没有空值
java - Why do i get appcfg.sh: permission denied when i try to download my app from google app engine?
I am using google app engine with java. In my web.xml i added following code:
Now when i write following command:
and i get following text in command prompt:
Can anybody please tell me why permission is denied. Thanks in advance.
python - 如何在 bulkloader 中配置导出属性 db.ListProperty(db.Key)
我开始使用在 bulkloader.yaml 中配置的 bulkLoader 从 Google AppEngine 导出数据。对于像 string、int 和 bool 这样的“标准”数据,这没问题。即使是单个密钥也可以轻松导出。
现在我有一些数据db.ListProperty(db.Keys)
并且导出失败。在我试过的 export_transform 中,看到 ??? 在下面的 bulkloader_config.yaml 中:
transform.key_id_or_name_as_string
transform.create_deep_key(('Coupon', db.Key))
join_list(",")
- 和许多其他来自http://googleappengine.googlecode.com/svn/trunk/python/google/appengine/ext/bulkload/transform.py
知道如何导出密钥列表吗?
数据模型.py
bulkloader_config.yaml