问题标签 [bulkloader]

您好，我已经在 Google 应用引擎中创建了示例问候应用程序。

现在我正在尝试使用批量加载器上传数据。

但它给出了 BadRequestError。这是它的代码：

我想使用bulkloader下载具有一些自定义属性的模型中的所有实体。

如果我定义这样的模型，

那么如何MyModel使用bulkloader进行下载，以使文件中没有未腌制的值？我想我应该在 bulkloader.yaml 中定义export_transformfor info，但我不知道它应该是什么样子。

我看过transform.py但仍然不知道它是如何工作的。请告诉我任何可以解决我问题的方法。谢谢。

尝试使用 python GeoModel 类和bulkloader。我正在调用以下内容post_import_function，它可以正常工作，并且实体已使用正确设置的位置字段进行更新。

但我需要做的是entity_instance.update_location()在实体保存到数据存储之前调用实体。虽然是一个实体，而entity_instance不是 GeoModel 的子类，所以我不清楚如何做到这一点。前段时间有一篇文章说内联代码或调用函数并将实体传递给它，但我不知道那应该是什么意思。

感谢您提供任何帮助/示例代码。

尝试导入 TextProperty，类似于另一个 Stack Overflow 问题 (http://stackoverflow.com/questions/3434090/app-engine-badvalueerror-on-bulk-data-upload-textproperty-being-contrued-as-s)

添加 import_transform: db.Text 后，我​​仍然收到错误消息。story_html 是一个 TextProperty()

我的 Bulkloader.yaml 文件。

我的 Models.py 文件

还有我的 loaders.py 文件

问题：

当我使用 bulkloader 存储数据时，永远不会调用 DecimalProperty.get_value_for_datastore 方法，当我将 5.4 存储在数据存储中时，会完全像这样保存：5.4; 这应该通过 get_value_for_datastore 传递并转换为这样的整数：54000; 因为我需要小数点后4位：5.4 * 10000 = 54000; 然后返回 54000/10000 = 5.4

我有一个模型：

十进制类

我的散装机是：

我的 csv 文件是这样的：

笔记：

如果我输入 bulkloader 十进制：

我收到此错误：

非常肮脏的解决方案：

我正在使用 Derby In-Memory DB。我需要在开始时从 csv 文件加载一些数据。目前，将所有 csv 文件加载到他们的表中大约需要 25 秒。我希望时间可以减少。由于数据文件实际上并不是很大。

我所做的是使用 derby 的内置程序。

唯一特别的是，有时一个表中的数据会被拆分为许多小的 csv 文件。所以我必须一个一个地加载它们。并且我测试了我是否可以将它们组合在一起，它只需要16秒。但是我无法删除此功能，因为用户需要它。

我能做些什么来减少加载数据的时间吗？我应该禁用日志还是编写一些用户定义的函数/程序或可以完成任何其他调整？任何建议都会很好。

谢谢！

在AppEngine Bulkloader 文档中，他们声明“如果您尝试从 High Replication 数据存储区进行复制，您将在管理控制台中看到 high_replication_warning 错误，并且下载的数据可能不包括最近保存的实体。” 知道“最近保存的实体”有多近吗？

我正在尝试按希尔伯特顺序对 d 维数据向量进行排序，以批量加载空间索引。

但是，我不想明确计算每个点的希尔伯特值，这尤其需要设置特定的精度。在高维数据中，这涉及到诸如32*d位之类的精度，要有效地执行它会变得相当混乱。当数据分布不均匀时，其中一些计算是不必要的，并且需要对部分数据集进行额外的精度。

相反，我正在尝试使用分区方法。当您查看二维一阶希尔伯特曲线时

我首先沿 x 轴拆分数据，这样第一部分（不一定包含一半的对象！）将由 1 和 2（尚未排序）组成，第二部分将包含来自 3 和 4 的对象只要。接下来，我将在 Y 轴上再次拆分每一半，但将顺序颠倒 3-4。

所以本质上，我想执行一个分而治之的策略（与快速排序密切相关 - 在均匀分布的数据上，这甚至应该是最佳的！），并且只根据需要计算希尔伯特索引的必要“位”。所以假设“1”中只有一个对象，那么就不需要计算它的完整表示；如果对象分布均匀，分区大小将迅速下降。

我确实知道转换为长、灰色编码、维度交错的常用教科书方法。这不是我要找的（有很多可用的例子）。我明确地只想要一个懒惰的分治法排序。另外，我需要的不仅仅是 2D。

有谁知道以这种方式工作的文章或希尔伯特排序算法？或者一个关键的想法如何正确地“旋转”，为此选择哪种表示？特别是在更高维度中……在 2D 中它是微不足道的；1 旋转 +y，+x，而 4 是 -y，-x（旋转和翻转）。但我猜，在更高维度上，这会变得更加棘手。

（结果当然应该与立即以足够大的精度按希尔伯特顺序对对象进行排序时相同；我只是想节省在不需要时计算完整表示的时间，并且必须对其进行管理。很多人们保留一个相当昂贵的哈希图“对象到希尔伯特数”。）

Peano 曲线和 Z 曲线应该有类似的方法，并且可能更容易实现......我可能应该先尝试这些（Z 曲线已经在工作 - 它确实归结为类似于 QuickSort 的东西，使用适当的平均值/网格值作为虚拟枢轴并在每次迭代的维度中循环）。

编辑：见下文，了解我如何解决 Z 曲线和皮亚诺曲线。它也适用于 2D Hilbert 曲线。但是我还没有希尔伯特曲线的旋转和反转。

据我所知，为 bulkloader.yaml 文件中的属性分配默认值并不容易。我了解到设置默认值的一种方法是编写自己的函数：

所以我修改了 transform.none_if_empty(int) 函数，使它返回字符串'in queue'而不是None。

不过我想知道，由于 input_transform 只接受一个函数，是否可以传入一个默认值，这样我就不必为我想要传入的每种默认值编写一个新函数。IE：

等等

谢谢！

我有这个日期时间2011-07-02 03:03:32.793

为了处理 python 2.5 版本的毫秒问题（提到这里），我尝试截断它并将它的日期时间转换为：

如何将这两个 import_transform 写在一行中？