问题标签 [bulkloader]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 执行自定义批量加载程序时出现服务器错误(Google Apps Engine)
我没有成功使用官方提供的bulkloader 选项,所以我编写了自己的bulkloader 脚本(实际上是post 处理程序,它会将实体从csv 增量加载到数据存储中)。
该解决方案的工作方式如下:
1. 我将从 csv 文件复制数据
2. 将其粘贴到应用程序表单中的文本区域
3. 发布表单
4. 处理程序解析标题(列名)的传入文本
5 . 将其余行存储在列表
6. 从列表中递增地获取 100 行,并为每一行创建并存储一个实体(实体的类型从表单中的选择字段中指定的类型解析)
现在,这种技术可以在我的开发服务器上用于最多 1000 行的小输入,除此之外它会显示以下错误:
回溯(最近一次通话最后):
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/ext/webapp/ init .py”,第 513 行,调用
文件“/host/_Hive/ Lab/ACTIVE WORKS/UG VOTES/google_appengine/myApps/ugvotes/ugvotes.py”,第 241 行,在帖子
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/ext/db/ init .py”,第 893 行,放入
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore.py”,第 291 行,放入
文件“/host/_Hive/Lab /ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore.py”,第 195 行,在 _MakeSyncCall
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/apiproxy_stub_map.py”,第 499 行,在 check_success
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/ google/appengine/api/apiproxy_rpc.py”,第 149 行,在 _WaitImpl
文件中“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore_file_stub.py”,第 863 行,在 MakeSyncCall
文件中“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/apiproxy_stub.py”,第 80 行,在 MakeSyncCall
文件中“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google /appengine/api/datastore_file_stub.py”,第 933 行,在 _Dynamic_Put 中
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/google/appengine/api/datastore_file_stub.py”,第 806 行,在 __WriteDatastore
文件“/host/_Hive/Lab/ACTIVE WORKS/UG VOTES/google_appengine/ google/appengine/api/datastore_file_stub.py",第 836 行,在 __WritePickled
IOError:[Errno 24] 打开的文件太多:'/tmp/tmpOfgvm3'
起初我认为这是由于开发服务器的限制而导致的错误,但是当我尝试从生产服务器执行相同的任务时,我收到以下错误:
错误:服务器错误 服务器遇到错误,无法完成您的请求。
如果问题仍然存在,请报告您的问题并提及此错误消息和导致它的查询。
谁知道可能出了什么问题,我能做些什么呢?
谢谢。
python - 使用 Google App Engine Bulkloader 生成默认值
我之前已经成功地在我的项目中使用了bulkloader,但是我最近在修改记录时添加了一个新字段来时间戳。但是,这个新字段给我带来了麻烦,因为它默认为空。在导入之前在 csv 中手动插入时间戳,有没有办法可以插入当前正确的数据?我假设我需要查看 import_transform 行,但我对 Python 一无所知(我的应用程序是 Java)。
理想情况下,我想自动插入当前时间戳(自纪元以来的毫秒数)。如果这很重要,可以在运行导入之前在转换语句中静态设置值。谢谢。
python - 使用批量加载器下载 App Engine 数据时如何从 ReferenceProperty 类获取属性?
我想下载我的 App Engine 数据,以便可以在本地有效地对其进行操作(我正在基于它生成一些 PDF)。如何定义 ReferenceProperty 的列由引用模型的特定属性填充,而不仅仅是键或 id?
这是我的模型类:
但是,即使我在 bulkloader.yaml 中描述了一个 property_map,如下所示:
我总是以 CSV 中的部门键结束
例如
如何定义部门模型的“名称”属性填充部门列?
例如
谢谢,保罗
python - 启动、停止和继续使用 Google App Engine BulkLoader
我有相当多的数据要上传到 Google App Engine。我想用散装装载机帮助把它弄进去。但是,我有太多的数据,我通常会在完成之前用完我的 CPU 配额。此外,任何其他问题,例如糟糕的互联网连接或随机计算机问题都可以停止该过程。
有什么方法可以从您停止的地方继续批量加载?还是仅批量加载尚未写入数据存储的数据?
我在文档中找不到任何内容,所以我认为任何答案都包括深入研究代码。
google-app-engine - AppEngine 批量加载器和自动创建的属性值
在我的模型中,我有一个属性:
在数据存储中创建此类型的对象时,会自动填充created属性。
当我将批量加载器工具与没有此字段的表一起使用时,当我上传到 AppEngine 时,该字段不会自动填充,此时会创建新对象。
如何让它为从批量加载程序上传的新对象设置创建时间?
java - 从 GAE 批量下载日志
我想将所有日志下载到带有“appcfg.py”的文件中。
我不使用app.yaml,但是我写了一个很简单的:
我使用这个命令:
我总是得到:
我应该怎么做才能下载我的所有日志?
google-app-engine - AppEngine Bulkloader 在导入期间生成数据
我将 CSV 导入数据存储区,并希望在导入期间使用自定义操作生成字段 StringListProperty(例如生成索引、进行一些计算)。我试图覆盖我的模型的 put() 方法,就像它在 Google App Engine 中的 Override save, put, get, etc... methods 中所描述的那样,但是在 bulkloader 导入期间这没有效果。
mysql - MySqlBulkLoader 可以与事务一起使用吗?
MySqlBulkLoader 可以与事务一起使用吗?我看不到将事务显式附加到加载程序实例的方法。还有其他方法吗?
google-app-engine - 在 App Engine bulkuploader yaml 中使用 post_import_function
我正在尝试使用 bulkuploader 将一些数据上传到我的 App Engine 数据存储区。对于我的一种实体类型,我有一个从另一个计算的属性,所以我真的很想对每个实体进行一些后处理,因为它被导入以进行此计算。我不断看到 post_import_function 转换标签的简短提及,但没有真正全面的文档或示例。
现在,我只是尝试做一个简单的测试来让我的 post_import_function 工作。
我的实体模型:
我的 bulkloader.yaml 文件的相关部分如下所示:
还有我的 post_process_testentity 函数:
当我使用所有这些东西进行数据上传时,我没有收到任何错误(我知道正在输入 post_process_testentity,因为我在其中添加了一些正确运行的打印语句)。关于上传的一切工作,除了我的后期处理功能完全没有效果。当我使用数据查看器时,我的数据存储中没有“Hello there!”。
有人可以帮帮我吗?谢谢!
python - Gaebar 和 Bulkloader 导出数据存储
我正在尝试找到一种方法,可以将整个数据存储下载到文件中并将其上传回数据存储,以免丢失信息。所以我对此进行了一些研究,发现有两种现有的方法可以做到这一点。
- Gaebar 这是另一个应用程序。
- 应用引擎本身的 Bulkloader。
我要导出的数据非常大。那么我应该使用哪一个?
先感谢您..