问题标签 [bulkloader]

我没有成功使用官方提供的bulkloader 选项，所以我编写了自己的bulkloader 脚本（实际上是post 处理程序，它会将实体从csv 增量加载到数据存储中）。

该解决方案的工作方式如下：
1. 我将从 csv 文件复制数据
2. 将其粘贴到应用程序表单中的文本区域
3. 发布表单
4. 处理程序解析标题（列名）的传入文本
5 . 将其余行存储在列表
6. 从列表中递增地获取 100 行，并为每一行创建并存储一个实体（实体的类型从表单中的选择字段中指定的类型解析）

现在，这种技术可以在我的开发服务器上用于最多 1000 行的小输入，除此之外它会显示以下错误：

回溯（最近一次通话最后）：
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/ext/webapp/ init .py”，第 513 行，调用
文件“/host/_Hive/ Lab/ACTIVE WORKS/UG VOTES/google_appengine/myApps/ugvotes/ugvotes.py”，第 241 行，在帖子
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/ext/db/ init .py”，第 893 行，放入
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore.py”，第 291 行，放入
文件“/host/_Hive/Lab /ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore.py”，第 195 行，在 _MakeSyncCall
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/apiproxy_stub_map.py”，第 499 行，在 check_success
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/ google/appengine/api/apiproxy_rpc.py”，第 149 行，在 _WaitImpl
文件中“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore_file_stub.py”，第 863 行，在 MakeSyncCall
文件中“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/apiproxy_stub.py”，第 80 行，在 MakeSyncCall
文件中“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google /appengine/api/datastore_file_stub.py”，第 933 行，在 _Dynamic_Put 中
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore_file_stub.py”，第 806 行，在 __WriteDatastore
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/ google/appengine/api/datastore_file_stub.py"，第 836 行，在 __WritePickled
IOError：[Errno 24] 打开的文件太多：'/tmp/tmpOfgvm3'

起初我认为这是由于开发服务器的限制而导致的错误，但是当我尝试从生产服务器执行相同的任务时，我收到以下错误：

错误：服务器错误 服务器遇到错误，无法完成您的请求。

如果问题仍然存在，请报告您的问题并提及此错误消息和导致它的查询。

谁知道可能出了什么问题，我能做些什么呢？

谢谢。

我之前已经成功地在我的项目中使用了bulkloader，但是我最近在修改记录时添加了一个新字段来时间戳。但是，这个新字段给我带来了麻烦，因为它默认为空。在导入之前在 csv 中手动插入时间戳，有没有办法可以插入当前正确的数据？我假设我需要查看 import_transform 行，但我对 Python 一无所知（我的应用程序是 Java）。

理想情况下，我想自动插入当前时间戳（自纪元以来的毫秒数）。如果这很重要，可以在运行导入之前在转换语句中静态设置值。谢谢。

我想下载我的 App Engine 数据，以便可以在本地有效地对其进行操作（我正在基于它生成一些 PDF）。如何定义 ReferenceProperty 的列由引用模型的特定属性填充，而不仅仅是键或 id？

这是我的模型类：

但是，即使我在 bulkloader.yaml 中描述了一个 property_map，如下所示：

我总是以 CSV 中的部门键结束

例如

如何定义部门模型的“名称”属性填充部门列？

例如

谢谢，保罗

我有相当多的数据要上传到 Google App Engine。我想用散装装载机帮助把它弄进去。但是，我有太多的数据，我通常会在完成之前用完我的 CPU 配额。此外，任何其他问题，例如糟糕的互联网连接或随机计算机问题都可以停止该过程。

有什么方法可以从您停止的地方继续批量加载？还是仅批量加载尚未写入数据存储的数据？

我在文档中找不到任何内容，所以我认为任何答案都包括深入研究代码。

在我的模型中，我有一个属性：

在数据存储中创建此类型的对象时，会自动填充created属性。

当我将批量加载器工具与没有此字段的表一起使用时，当我上传到 AppEngine 时，该字段不会自动填充，此时会创建新对象。

如何让它为从批量加载程序上传的新对象设置创建时间？

我想将所有日志下载到带有“appcfg.py”的文件中。

我不使用app.yaml，但是我写了一个很简单的：

我使用这个命令：

我总是得到：

我应该怎么做才能下载我的所有日​​志？

我将 CSV 导入数据存储区，并希望在导入期间使用自定义操作生成字段 StringListProperty（例如生成索引、进行一些计算）。我试图覆盖我的模型的 put() 方法，就像它在 Google App Engine 中的 Override save, put, get, etc... methods 中所描述的那样，但是在 bulkloader 导入期间这没有效果。

MySqlBulkLoader 可以与事务一起使用吗？我看不到将事务显式附加到加载程序实例的方法。还有其他方法吗？

我正在尝试使用 bulkuploader 将一些数据上传到我的 App Engine 数据存储区。对于我的一种实体类型，我有一个从另一个计算的属性，所以我真的很想对每个实体进行一些后处理，因为它被导入以进行此计算。我不断看到 post_import_function 转换标签的简短提及，但没有真正全面的文档或示例。

现在，我只是尝试做一个简单的测试来让我的 post_import_function 工作。

我的实体模型：

我的 bulkloader.yaml 文件的相关部分如下所示：

还有我的 post_process_testentity 函数：

当我使用所有这些东西进行数据上传时，我没有收到任何错误（我知道正在输入 post_process_testentity，因为我在其中添加了一些正确运行的打印语句）。关于上传的一切工作，除了我的后期处理功能完全没有效果。当我使用数据查看器时，我的数据存储中没有“Hello there！”。

有人可以帮帮我吗？谢谢！

我正在尝试找到一种方法，可以将整个数据存储下载到文件中并将其上传回数据存储，以免丢失信息。所以我对此进行了一些研究，发现有两种现有的方法可以做到这一点。

1. Gaebar 这是另一个应用程序。
2. 应用引擎本身的 Bulkloader。

我要导出的数据非常大。那么我应该使用哪一个？

先感谢您..