问题标签 [bulkloader]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
1205 浏览

google-app-engine - Google App Engine Bulkloader“身份验证失败”

我正在尝试使用 bulkloader 将我的数据加载到 App-Engine 服务器。我使用 Python 2.5 运行以下命令:-

但它因此身份验证错误而失败:-

我的想法是从我的开发服务器进行批量下载,然后使用这个转储上传到应用引擎服务器。批量下载工作正常。我为此使用了这种格式:-

但是批量上传失败。有几件事:批量下载要求我输入用户名和密码,但批量上传没有。另外,我目前没有经常提到的 app.yaml 文件 - 我需要一个来执行此操作吗?

提前感谢您的帮助。M。

编辑 对于其他为此苦苦挣扎的人,问题确实出在代理服务器后面,但上面的内容还有另一个“错误”。app-id 需要添加“s~”位。

0 投票
1 回答
1691 浏览

google-app-engine - Google App Engine bulkloader 转换的参考页面在哪里?

从一个空的数据存储中,我能够自动生成一个bulkloader.yaml文件。它只包含python_preamble,但该transformers部分是空的。

然后根据文档中的示例,我需要为 CSV 中的每一列定义一个属性映射:

两个问题:

我的理解是,定义为的函数import_transform会将普通的 CSV 字符串转换为值得数据存储的属性类。我想了解转换是如何工作的,所以我认为我有两种选择。

  1. 图书馆参考书在哪里google.appengine.ext.bulkload.transform?我想知道如何使用transform.some_undocumented_function,以及所有其他transform.some_other_undocumented_transformers

  2. 你可以从我的python_preamble那个我看到- import: my_own_transformers。在该模块中,我定义了一个函数,该函数transform_date接受一个 ISO 日期字符串,例如2001-01-01并将其转换为适合db.DateProperty(). 如果我的概念是正确的,我可以使用:

0 投票
3 回答
336 浏览

google-app-engine - 父级驻留在数据存储中,分配使用 CSV 批量加载器上传的子级

目前我有一个Team驻留在数据存储区:

我的本地计算机中有以下 CSV 文件:

我的bulkloader.yaml样子是这样的:

我写了一个models.py看起来像这样的:

我还写了一个my_transforms.py

问题: 如何上传 CSV 文件,以便当Characters 进入数据存储区时,将其parent属性分配给team

0 投票
2 回答
551 浏览

xml - 使用 AS3 在本地加载 XML

我有一个项目,Flash BuilderBulkloader用来加载一些配置文件。当我从 Flash Builder 或服务器中运行项目时,一切正常,但是当我从另一个位置(例如“我的文档”)运行 SWF 时,项目无法加载 XML。

我不确定这是安全问题还是类似问题。

提前致谢!

0 投票
3 回答
1756 浏览

python - 使用开发服务器的 Appengine BulkLoader 问题

我正在做一些应该很简单的事情,并且一遍又一遍地陷入困境。将非常简单的 csv 文件上传到我的开发服务器时出现此错误:

确切的输出是:

这是 app.yaml 文件:

这是执行上传的 shell 调用:

这是上传者代码:

这是 cols.csv 文件:

任何帮助都将受到欢迎。我无法弄清楚我做错了什么。

我在 Mac Osx Leopard 上使用 Appengine 1.5.2。我已经尝试过 python 2.5.4 和 2.6.6(以防万一)。

提前致谢并致以最诚挚的问候!

0 投票
1 回答
325 浏览

python - Google appengine,无法从子模型中获取数据

我的 bulkloader.yaml 看起来像这样:

我的 models.py 看起来像这样

我已将数据上传到本地开发服务器上,我可以使用http://localhost:9999/_ah/admin/datastore 查看数据。所以数据被上传并存在。我也看到了外键。

我无法访问基于父对象的子数据。它返回空。下面粘贴的是我在本地开发数据存储的交互式控制台中执行的内容:

输出:

0 投票
2 回答
426 浏览

python - 如何使用 --passin 和 subprocess.Popen 自动化 Google App Engine upload_data?

这是我所拥有的:

这可以按预期工作,但是,当我引入“--passin”时,我似乎无法将其正确输入标准输入。我尝试了以下方法:

我什至尝试过(在黑暗中拍摄)

您可能已经注意到我正在尝试在 Windows 7 机器上执行此操作。

这可能吗?

更新:

在发布这个并以不同的格式阅读它之后,我意识到我并没有等待这个过程。

解决方案是:

这完美无缺。我假设因为我没有等待 python 没有向子进程注入任何东西,因为我已经退出了。

0 投票
2 回答
528 浏览

java - 我应该在 JAVA 开发服务器上为 Google App Engine BulkLoader 输入哪些凭据?

我无法将数据上传到我的 GAE Java 开发服务器。Bulkloader 要求输入密码,但没有密码匹配:

那么如何在Java 开发服务器上使用密码创建凭据或绕过密码要求?

我已经从这里阅读了答案我应该在开发服务器上为 Google App Engine BulkLoader 输入哪些凭据?和对此问题的评论http://code.google.com/p/googleappengine/issues/detail?id=2440 但这都是关于 Python 开发服务器而不是 Java的。

0 投票
1 回答
603 浏览

python - 将长时间(且失败)的批量数据加载到 Google App Engine 数据存储区

我正在使用当前的 django non-rel 和现在默认的高复制数据存储在 Google App Engine 上开发应用程序。我目前正在尝试使用以下命令在开发实例上本地批量加载 180MB csv 文件:

bulkloader.yaml

对于 CSV 的截断的 1000 条记录版本,批量加载实际上是成功的,但整个集最终陷入困境并开始出错,“退出”并等待越来越长的时间。我实际跟踪的bulkloader-log 没有显示任何有用的信息,服务器的stderr 也没有。

任何有助于理解此批量加载过程的帮助将不胜感激。我的计划是最终能够将大数据集加载到谷歌数据存储中,但这并不乐观。

0 投票
1 回答
476 浏览

google-app-engine - 如何加快 App Engine 批量下载器的速度?

我正在尝试使用 App Engine 批量加载程序从数据存储区下载实体(如果重要,则为高复制)。它可以工作,但速度很慢(85KB/s)。是否有一些神奇的参数我可以传递它以使其更快?我收到大约 5MB/分钟或 20,000 条记录/分钟,并且鉴于我的连接速度可以达到 1MB/秒(希望 App Engine 可以提供比这更快的速度),必须有一种方法可以更快。

这是我当前的命令。我尝试过大数字、小数字和各种排列:

我已经尝试过这个 App Engine Bulk Loader Performance ,它并不比我已经拥有的更快。他提到的数字也与我所看到的不相上下。

提前致谢。