问题标签 [bulk-load]

是否有人对可用于将存储在分隔文本文件中的数据批量加载到 SQLite 数据库中的实用程序有任何提示？

理想情况下，可以从脚本等中作为独立程序调用的东西。

我与之合作的一个小组有一个 Oracle 数据库，它会将一堆数据转储到文件中，然后将这些数据加载到 SQLite 数据库中以在移动设备上使用，并且正在寻找实现这种场景的最简单方法。

让我设置一下情况。我们正在尝试将适量的行数（每天大约 10-20M）插入到适度宽的 MyISAM 表中：

除了巨大的主键之外，唯一的索引是 blah7，即日期字段。我们正在使用 LOAD DATA INFILE 并看到让我印象非常糟糕的性能，大约需要 2 个小时来加载数据。我被引导相信 LOAD DATA INFILE 比这快几个数量级。

有趣的是，我们有一些不太胖的表（5-6 个字段），我们还使用 LOAD DATA INFILE 将数据批处理到其中，我们看到这些表的性能要好得多。记录的数量要少得多，这让我认为当我们加载大表时我们遇到了缓冲区大小限制，并且必须转到磁盘（实际上，除了磁盘还有什么解释这么慢的加载时间？）。

...这让我想到了我的问题。在处理 LOAD DATA INFILE 命令时，哪些 my.cnf 设置最重要？

嗨，我需要一些帮助来在 python 上构建电话簿应用程序并将其放在谷歌应用程序引擎上。我正在运行一个包含 200 万个用户列表及其在电话簿中的联系人的庞大数据库。我想将所有数据从我的服务器直接上传到谷歌服务器，然后使用 UI 根据每个用户的姓名检索每个用户的电话簿联系人。

我使用 MS SQL 服务器 2005 作为我的数据库。

请帮助整理此应用程序。

非常感谢您的意见。

更新：添加了一个示例来阐明数据的格式。

考虑每行格式如下的 CSV：

其中 [tbl2.col1:tbl2.col2]+ 意味着可以有任意数量的这些对重复

前任：

这些表将使用行号作为除了上述任何列之外必须创建的键来相互关联。

1. 有没有办法mysql load data infile将数据加载到两个单独的表中？
2. 如果不是，什么 Unix 命令行工具最适合这个？

我正在开发我的第一个大型 Actionscript 3 网站并尝试确定最佳加载顺序。我目前正在使用 BulkLoader，因为文件大小对于较大的网站来说并不是什么大问题，但我绝对愿意接受其他方法。

我试图弄清楚哪些外部资产要测量进度 {1 swf、1 css 文件、多个图像}，但由于它们依赖于加载的 XML 文件，因此无法完全弄清楚如何对它们进行分组/排序。

在 AS3 中程序初始化和资产链加载的最佳实践是什么，特别是当站点结构是从 XML 文件创建时？

首先，我正在加载一个 SWF 和一个 XML 文件，其中包含站点结构、页面 ID、副本和图像文件名（背景图像和页面幻灯片）。我目前正在预先批量加载 XML 和 CSS 文件，然后生成整个程序。我必须从 XML 中检索图像文件名，然后加载它们，但这实际上是一个由两部分组成的过程。有没有办法以某种方式为所有这些批量加载创建一个预加载器？

关于我的初始化过程的几点说明：时间轴中有1帧，并且舞台上只有预加载器。页面 + 其他细节（导航、背景图像、幻灯片等）在解析 XML 后都作为新对象添加/创建，然后我删除了预加载器剪辑。在预先加载所有内容时，这可能会占用处理器资源，但可以避免在用户点击网站时一次又一次地预加载。我还将实现 SWFAddress，因此预加载序列对掌握至关重要。

可以使用Django 的 loaddata 管理功能将日期加载到 DateField 中吗？我有一个 JSON 文件，用于将数据批量加载到我的应用程序中。当您转储数据时，日期字段以yyyy-mm-dd格式输出。但是，如果您尝试以相同格式重新加载数据，则该字段将被视为字符串并且加载失败。

例如，我有一个models.DateField() 类型的字段authorization_date。当字段的值为“2001-12-14”时，我收到以下错误：

那么如何使用 Django 的 loaddata 加载日期呢？

我正在尝试使用此处所述的 appcfg.py 批量加载数据。除了设置父实体外，我让它工作，我似乎找不到有关如何为导入创建的实体设置父实体的信息。你能给我指出正确的方向或为我的 bulkloader.Loader 实现提供代码片段吗？

我来自巴西，在 FATEC（位于巴西的学院）学习。我正在尝试了解 AppEngine。现在，我正在尝试将大型数据库从 MySQL 加载到 AppEngine 以执行一些查询，但我不知道该怎么做。我用 CSV 文件做了一些测试，但是有什么方法可以直接从 MySQL 导入？该数据库来自 Pentaho BI Server (www.pentaho.com)。感谢您的关注。

问候，丹尼尔·内托

SDK 1.3.4 中添加的新bulkloader 非常适合具有架构的模型。对于继承 db.Expando （或松散定义的模式）的模型，我想了解批量上传它们需要做什么。

我定义了一个自定义连接器，它实现了 ConnectorInterface 并将我的数据转换为所需的 python dict。我如何使用这个字典来定义上传到数据存储的实体？

在文档中似乎有一个 post_import_function 可用于返回上传的实体。是否有关于如何使用此功能的示例？

嘿伙计们，我必须将大型 xml 数据文件（其中一些大小为 500 mb）导入 sql 2008。我计划使用 sqlxml 批量加载。

但是我只对 xml 数据文件的某些元素感兴趣，而不是每个元素。我的问题是：在模式文件中，我是否需要提及 xml 数据文件中存在的每个元素，或者仅提及我有兴趣加载的那些元素

第二个问题是：由于我对 xsd / xdr 知之甚少，是否有任何工具可以自动为 sqlxml 批量加载生成这些模式文件

提前致谢