问题标签 [bulkloader]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-app-engine - Google App Engine Bulkloader“身份验证失败”
我正在尝试使用 bulkloader 将我的数据加载到 App-Engine 服务器。我使用 Python 2.5 运行以下命令:-
但它因此身份验证错误而失败:-
我的想法是从我的开发服务器进行批量下载,然后使用这个转储上传到应用引擎服务器。批量下载工作正常。我为此使用了这种格式:-
但是批量上传失败。有几件事:批量下载要求我输入用户名和密码,但批量上传没有。另外,我目前没有经常提到的 app.yaml 文件 - 我需要一个来执行此操作吗?
提前感谢您的帮助。M。
编辑 对于其他为此苦苦挣扎的人,问题确实出在代理服务器后面,但上面的内容还有另一个“错误”。app-id 需要添加“s~”位。
google-app-engine - Google App Engine bulkloader 转换的参考页面在哪里?
从一个空的数据存储中,我能够自动生成一个bulkloader.yaml
文件。它只包含python_preamble
,但该transformers
部分是空的。
然后根据文档中的示例,我需要为 CSV 中的每一列定义一个属性映射:
两个问题:
我的理解是,定义为的函数import_transform
会将普通的 CSV 字符串转换为值得数据存储的属性类。我想了解转换是如何工作的,所以我认为我有两种选择。
图书馆参考书在哪里
google.appengine.ext.bulkload.transform
?我想知道如何使用transform.some_undocumented_function
,以及所有其他transform.some_other_undocumented_transformers
你可以从我的
python_preamble
那个我看到- import: my_own_transformers
。在该模块中,我定义了一个函数,该函数transform_date
接受一个 ISO 日期字符串,例如2001-01-01
并将其转换为适合db.DateProperty()
. 如果我的概念是正确的,我可以使用:
google-app-engine - 父级驻留在数据存储中,分配使用 CSV 批量加载器上传的子级
目前我有一个Team
驻留在数据存储区:
我的本地计算机中有以下 CSV 文件:
我的bulkloader.yaml
样子是这样的:
我写了一个models.py
看起来像这样的:
我还写了一个my_transforms.py
:
问题: 如何上传 CSV 文件,以便当Character
s 进入数据存储区时,将其parent
属性分配给team
?
xml - 使用 AS3 在本地加载 XML
我有一个项目,Flash Builder
我Bulkloader
用来加载一些配置文件。当我从 Flash Builder 或服务器中运行项目时,一切正常,但是当我从另一个位置(例如“我的文档”)运行 SWF 时,项目无法加载 XML。
我不确定这是安全问题还是类似问题。
提前致谢!
python - 使用开发服务器的 Appengine BulkLoader 问题
我正在做一些应该很简单的事情,并且一遍又一遍地陷入困境。将非常简单的 csv 文件上传到我的开发服务器时出现此错误:
确切的输出是:
这是 app.yaml 文件:
这是执行上传的 shell 调用:
这是上传者代码:
这是 cols.csv 文件:
任何帮助都将受到欢迎。我无法弄清楚我做错了什么。
我在 Mac Osx Leopard 上使用 Appengine 1.5.2。我已经尝试过 python 2.5.4 和 2.6.6(以防万一)。
提前致谢并致以最诚挚的问候!
python - Google appengine,无法从子模型中获取数据
我的 bulkloader.yaml 看起来像这样:
我的 models.py 看起来像这样
我已将数据上传到本地开发服务器上,我可以使用http://localhost:9999/_ah/admin/datastore 查看数据。所以数据被上传并存在。我也看到了外键。
我无法访问基于父对象的子数据。它返回空。下面粘贴的是我在本地开发数据存储的交互式控制台中执行的内容:
输出:
python - 如何使用 --passin 和 subprocess.Popen 自动化 Google App Engine upload_data?
这是我所拥有的:
这可以按预期工作,但是,当我引入“--passin”时,我似乎无法将其正确输入标准输入。我尝试了以下方法:
也
我什至尝试过(在黑暗中拍摄)
您可能已经注意到我正在尝试在 Windows 7 机器上执行此操作。
这可能吗?
更新:
在发布这个并以不同的格式阅读它之后,我意识到我并没有等待这个过程。
解决方案是:
这完美无缺。我假设因为我没有等待 python 没有向子进程注入任何东西,因为我已经退出了。
java - 我应该在 JAVA 开发服务器上为 Google App Engine BulkLoader 输入哪些凭据?
我无法将数据上传到我的 GAE Java 开发服务器。Bulkloader 要求输入密码,但没有密码匹配:
那么如何在Java 开发服务器上使用密码创建凭据或绕过密码要求?
我已经从这里阅读了答案我应该在开发服务器上为 Google App Engine BulkLoader 输入哪些凭据?和对此问题的评论http://code.google.com/p/googleappengine/issues/detail?id=2440 但这都是关于 Python 开发服务器而不是 Java的。
python - 将长时间(且失败)的批量数据加载到 Google App Engine 数据存储区
我正在使用当前的 django non-rel 和现在默认的高复制数据存储在 Google App Engine 上开发应用程序。我目前正在尝试使用以下命令在开发实例上本地批量加载 180MB csv 文件:
bulkloader.yaml
对于 CSV 的截断的 1000 条记录版本,批量加载实际上是成功的,但整个集最终陷入困境并开始出错,“退出”并等待越来越长的时间。我实际跟踪的bulkloader-log 没有显示任何有用的信息,服务器的stderr 也没有。
任何有助于理解此批量加载过程的帮助将不胜感激。我的计划是最终能够将大数据集加载到谷歌数据存储中,但这并不乐观。
google-app-engine - 如何加快 App Engine 批量下载器的速度?
我正在尝试使用 App Engine 批量加载程序从数据存储区下载实体(如果重要,则为高复制)。它可以工作,但速度很慢(85KB/s)。是否有一些神奇的参数我可以传递它以使其更快?我收到大约 5MB/分钟或 20,000 条记录/分钟,并且鉴于我的连接速度可以达到 1MB/秒(希望 App Engine 可以提供比这更快的速度),必须有一种方法可以更快。
这是我当前的命令。我尝试过大数字、小数字和各种排列:
我已经尝试过这个 App Engine Bulk Loader Performance ,它并不比我已经拥有的更快。他提到的数字也与我所看到的不相上下。
提前致谢。