问题标签 [bulk-load]

我目前正在尝试在 .NET 应用程序中使用 MySqlBulkLoader 来添加 Unicode 和 UTF8 格式的数据。我的代码执行以下操作

• 使用 TextWriter 和 Stream writer 写入制表符分隔的文本文件

  使用 (TextWriter tr = new StreamWriter(newFile, false, Encoding.UTF8))

• 使用 Charset=utf8 的连接字符串打开 MySqlBulkLoader；在最后

  MySqlBulkLoader bl = new MySqlBulkLoader(new MySqlConnection(mysqlconnstring));

• BL 的字符集为 UTF8

  bl.CharacterSet = "utf8";

• 然后我调用 bl.Load();

但是当我检查数据库时，我得到了？对于 Unicode 字符...我检查了我正在写入的文本文件，并且字符显示正确。

我已经尝试将数据库和表的排序规则设置为 utf8_bin，基于 [this question 1但我仍然得到？...我做错了什么？

我有一大堆 HBase sql 语句，我需要针对现有的 HBase 数据库实例运行这些语句。

SQL 语句是纯文本的，并且数据库在本机文件系统（而不是 HDFS）上运行。因此，我没有运行 Hadoop 实例。

我目前在 hbase shell 上运行这些 SQL 语句，但这个过程真的很慢。我知道如果 Hadoop 正在运行，我可以分配映射器来执行并行插入，但是有没有更快的方法来进行批量加载而不使用 Hadoop 实例？

我需要弄清楚如何使用 Visual Studio 2010 将 XML 批量加载到 Microsoft SQL Server 2012 中。我已按照此处的说明进行操作，但这给了我一长串错误（包括在下面）。

此外，我不完全确定我应该如何处理 #8 的说明：“将 Main() 方法替换为以下代码。更新 ConnectionString 属性以及模式和数据文件的文件路径。” 有人可以给我一个快速的纲要吗？

虽然我不确定它是否会有所帮助，但我还添加了 SQL DB 作为数据源。

错误一：

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' 类型没有定义构造函数 C:\Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - Bulk Load\Aztech - Bulk Load\Program.cs 15 64 Aztech - Bulk Load

错误2：

“SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class”不包含“ConnectionString”的定义，并且找不到接受“SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class”类型的第一个参数的扩展方法“ConnectionString”（您是否缺少 using 指令或程序集引用？） C： \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 批量加载\Aztech - 批量加载\Program.cs 16 23 Aztech - 批量加载

错误 3：

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' 不包含'ErrorLogFile' 的定义，并且找不到接受'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' 类型的第一个参数的扩展方法'ErrorLogFile'（您是否缺少 using 指令或程序集引用？）C： \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 批量加载\Aztech - 批量加载\Program.cs 17 23 Aztech - 批量加载

错误 4：

“SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class”不包含“KeepIdentity”的定义，并且找不到接受“SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class”类型的第一个参数的扩展方法“KeepIdentity”（您是否缺少 using 指令或程序集引用？）C： \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 批量加载\Aztech - 批量加载\Program.cs 18 23 Aztech - 批量加载

错误 5：

'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' 不包含'Execute' 的定义，并且找不到接受'SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class' 类型的第一个参数的扩展方法'Execute'（您是否缺少 using 指令或程序集引用？） C： \Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 批量加载\Aztech - 批量加载\Program.cs 19 23 Aztech - 批量加载

错误6：

无法嵌入互操作类型“SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class”。请改用适用的接口。C:\Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 批量加载\Aztech - 批量加载\Program.cs 15 35 Aztech - 批量加载

错误 7：

无法嵌入互操作类型“SQLXMLBULKLOADLib.SQLXMLBulkLoad4Class”。请改用适用的接口。C:\Users\coopere.COOPERE-PC\documents\visual studio 2010\Projects\Aztech - 批量加载\Aztech - 批量加载\Program.cs 15 86 Aztech - 批量加载

提前感谢您的帮助。

我意识到LOAD DATA INFILE可用于加载 text/csv 数据。但是，这似乎仅限于插入。但是，有没有办法让 MYSQL 使用 c# 批量导入 SQL 文件。

我希望在文本文件中构建 SQL，然后将其发送到我的连接。由于这个过程是每天的，我需要它自动化，这样一旦程序启动我就不必有任何用户干预。当可以批量完成时，插入和更新的时间太长了。

我正在使用 DataStax 网站上提供的批量加载示例生成 Cassandra SSTables。http://www.datastax.com/dev/blog/bulk-loading

我的问题是 SSTable 文件理想地消耗了多少磁盘空间？就我而言，我的数据 CSV 文件为 40 GB，SStables 为该特定文件消耗的总磁盘空间约为250GB。创建这些表时我缺少什么吗？是否有任何可用于生成 sstables 的压缩选项？

我使用 sstableloader 加载 sstables 的第二步工作得非常好，并且数据可用于在 CQL 中查询。

另外，我想知道除了我上面提到的bulkload方法之外，是否还有其他技术可以将大数据导入cassandra。

I have the following sql stored procedure to bulk insert and parse an xml file and insert its data into several tables in a database.

The sql below works, however its inserting duplicate records into the #questions table and the #cards table.

Any help on this would be much appreciated. Thanks in advance.

Here is the XML file:

Here is SQL code

我需要使用在文件中收到的数据定期增加列中的值。该表有 > 400000 行。到目前为止，我所有的尝试都导致性能非常差。我写了一个实验来反映我的要求：

我得到的时间是：

因此，执行 400000+ 行将花费很长时间。

我是 sqlalchemy 的新手，但我确实阅读了很多文档，但我无法理解我做错了什么。

提前致谢！

我正在创建一个 Web 应用程序来分析来自客户自定义数据库的数据。我很难找到如何将客户端的日志文件条目从 12 小时制转换为 24 小时制的方法。我设置的数据库无法读取 12 小时时间格式，因此显示时间错误。

我正在使用的日志文件如下所示：

我需要将日志文件转换为如下所示：

每个日志文件有数以万计的条目，因此无法对每个条目进行此操作。我需要想办法将每个日志文件的条目批量转换为 24 小时制。

任何帮助将不胜感激！

谢谢！

亚伦

这是在以下位置发布的问题的延续： Java program to pass List of Bean to a oracle stored procedure - 一次性传递整个列表，而不是一个接一个地附加对象

我一直在尝试增强上述链接位置中提到的存储过程，并且在实现中感到困惑。而不是 VARCHAR2 作为过程的输出，我现在想要返回 NUM_ARRAY 作为过程的输出。你能帮我实现在我的java代码中读取NUM_ARRAY的逻辑吗？通常使用 Map out = super.execute(inParams); 返回输出。我现在如何将 NUM_ARRAY 提取到我的 bean 中？

更新： 使用 Spring Data JDBC Extension 后，必须更改源代码以适应下面粘贴的新响应，但调用 bean.getAttributes() 方法时仍然存在连接问题。看起来需要找到一种在连接关闭之前不关闭连接或访问值的方法。

我在终端的单节点集群中运行 hbase 批量加载程序。用于运行此作业的 hadoop 命令

输入路径：/user/cloudera/Game1.csv

输出路径：/user/cloudera/hbase

hbase 表名：NBAFinal2010