问题标签 [bulkloader]

有没有人遇到过您的资产（图像 png 文件）从您的网络路径中删除的情况？

让我更清楚地解释一下。

我正在使用加载器和BulkLoader从我的 flex4 应用程序加载位于我的本地主机（而不是 flex4 应用程序路径）中的一些图像

这是第二次发生某些图像从 localhost 中的路径中删除的情况。

我不确定是什么原因造成的？那是装载机吗？或bulkloader或网络服务器？（WAMP）或任何病毒？

它在过去 7 天内发生了第二次。我很幸运，我在远程主机中有一个副本，所以我很容易把它们拿回来。但它是什么以及为什么它被删除是一个错误。

有什么想法可能导致这种情况吗？或者任何人都知道 Loader 或 BulkLoader 中的任何错误？

我正在尝试使用 appcfg.py 将 csv 文件上传到数据存储区。我正在使用的命令是这样的：

appcfg.py upload_data --application=s~hay-fe --kind=CasillaFinal --filename=CasillaFinal.csv --url=http://hay-fe.appspot.com/remote_api --config_file=bulkloader.yaml

然后我得到下一个错误：

BadArgumentError：需要一个整数 id 或字符串名称作为参数 2；收到无（无类型）。

这是我的 CasillaFinal.csv： http ://pastebin.com/embed_js.php?i=7dp24Yn1

这是我的 bulkloader.yaml： http ://pastebin.com/embed_js.php?i=iPE8PcZQ

我认为问题在于第一列（ID），因为我没有任何导入转换，但我不知道如何进行此转换。

在这里，您有“表”的 java 定义：

如您所见，我正在使用 objectify 来实现持久性。

顺便说一句，我想知道列的顺序是否重要，因为数据存储管理中的顺序与 csv 文件中的顺序不同。这是数据存储中的顺序：

id|casillaEspecial|claveEntidad|claveMunicipio|distrito|domicilio|latitud|letraFinal|letraInical|longitud|municipio|referencia|seccion|tipoCasilla|ubicacion

而在 csv 中是：

id|claveEntidad|seccion|tipoCasilla|domicilio|ubicacion|referencia|latitud|longitud|distrito|claveMunicipio|municipio|letraInicial|letraFinal|casillaEspecial

最后，我想知道订单索引是从 0 开始还是从 1 开始，因为错误表示错误在参数 2 中（期望整数 id 或字符串名称作为参数 2）。

我正在使用 appcfg.py 将数据从 csv 文件导入数据存储区

我的问题是插入数据存储区的 ID 值与 csv 文件中的值不同。

我认为错误在 bulkloader.yaml 中，我不知道如何导入该值。

这是我的 csv 文件： http ://pastebin.com/embed_js.php?i=xC9UVVty

这是我的 bulkloader.yaml： http ://pastebin.com/embed_js.php?i=W3t9c6qd

这是数据存储区中的结果：

如您所见，csv 文件中的 ID 为：1、2、3，而数据存储区中的 ID 为 1121、1122、1123

我希望你能帮助我。

谢谢。

使用 bulkuploader 将数据上传到数据存储时出现此错误。以前的 csv 文件可以很好地上传数据。新的 csv 文件有一个包含字符串列表的额外字段。（例如 A、B、E、G、E、F）。以下是我得到的错误。

因此，我正在尝试使用 bulkloader 创建一个具有父级的实体。

我有一个客户实体：

我想创建一个数据实体作为客户的孩子。

客户实体存在。Data.yaml 是（无序言）：

我知道需要使用 transform.create_foreign_key 或 transform.create_deep_key 。我不明白的是如何告知我的客户实体（它是父实体）。

我发现一个这样的问题讨论了如何在 Google App Engine 上的 appcfg.py 批量加载数据期间为数据存储实体设置父级？，但“代码配置”已被弃用。

谢谢

我正在使用应用程序引擎bulkloader将 CSV 文件导入我的数据存储区。我有许多列要合并为一个列，例如它们都是 URL，但并非所有列都提供，并且有一个取代顺序，例如：

我想说：“好的，如果url_main存在，使用它，否则用户url_test然后使用url_temp”

因此，是否可以创建一个自定义导入转换来引用列并根据条件将它们合并为一个？

我依靠 pythonos.environ来确定我的应用程序应该使用什么配置（例如不同主机的不同 API 密钥）。

似乎bulkloader无法访问这些变量，无论如何我可以知道bulkloader运行时我的应用程序的当前版本或当前主机是什么？

通常我在我的config_helper：

并且 bulkloader 报告了关于 的 KeyError CURRENT_VERSION_ID，所以我使用了这个：

但是 bulkloader 抱怨这SERVER_NAME是一个无效的对象，这意味着它也找不到HTTP_HOST.

还有其他想法吗？

I have the following code in bulkloader.yaml:

models.py:

and upload file (csv):

But I am getting the following error:

这应该在应用引擎上获取约 600 个实体。在我的开发服务器上，它按预期运行，构建 index.yaml，我上传它，在服务器上测试，但在应用引擎上它不返回任何内容。

我尝试在数据存储查看器上拆分查询，以查看问题出在哪里以及时间戳约束按预期工作。该查询WHERE title = 'mystring'何时应该返回一堆实体，但什么也不返回。

我隐约记得您必须使用属性和运算符之间的空格进行调用的繁琐过滤.filter("prop =",propValue)，但这是一个 GqlQuery，所以不是那样的（我也用 GQL 尝试过这种格式）。

有谁知道我的问题是什么？

我能想到的一件事：在我的开发服务器上创建并上传新索引之前，我通过 BulkLoader.py 将 MyEntity 实体列表添加到应用程序中。那会有什么不同吗？

我有一个非常大的 gzip csv 文件（大约 500GB），我需要使用批量加载工具将其导入数据存储区。是否可以不必先解压缩？如果是，我必须如何配置我的 bulkload.yaml 文件？