问题标签 [sqoop]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - sqoop-import 失败,hive 无法显示表
我尝试使用 Hadoop 将数据库从 mysql 导入 Hive,并使用来自 sqoop 的“--hive import”命令自动创建表并加载数据到 hive。
我使用下面的命令通过 sqoop 执行导入
执行此命令时:
我的 sqoop 命令有什么问题?还是 sqoop 或 hive 中还有其他配置?
请帮帮我
hadoop - (Sqoop-import) ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 9
当我输入命令时:
执行此命令时:
我的 sqoop 命令有什么问题?
请任何解决方案:)谢谢
c# - 无法将数据库中的数据读入arraylist?
我试图解决这个问题,但是当我这样做时我得到了一个疯狂的错误?
这是我的第一个方法 --> 其中包含 SQLQUERY
然后我尝试建立一个可以为我获取数据的通用网络方法。
我得到的错误是这个?有趣的是,昨天我想我设法让它如我所愿!
hadoop - sqoop 导出通过 oozie 失败
我正在尝试将数据从通过导出到mysq
l 。我能够通过 shell 运行 sqoop 并且工作正常。但是当我通过. 它出现以下错误并失败。我还包括罐子。没有详细的日志hdfs
sqoop
oozie
sqoop 脚本:
错误:
class - 如何在 MapReduce 中使用 sqoop 生成的类?
sqoop 查询生成一个 java 文件,其中包含一个类,该类包含在 mapreduce 中访问每行的列数据的代码。(Sqoop 导入是在没有 --as-sequencefile 选项的文本中完成的,每条记录有 1 行,列之间有逗号)但是我们如何实际使用它呢?
我在这个类中找到了一个公共方法 parse(),它将 Text 作为输入并填充类的所有成员,所以为了练习,我修改了 wordcount 应用程序,将映射器中 TextInputFormat 中的一行文本转换为sqoop 生成的类。但是,当我调用 parse() 方法时,这会导致“未报告的 exception.com.cloudera.sqoop.lib.RecordParser.ParseError;必须被捕获或声明为抛出”。
可以这样做还是使用每个记录中的数据填充类所需的自定义 InputFormat ?
hadoop - 在 GROUP BY 中计算 PIG 查询和 MySql 查询结果的差异
我的 PIG 查询如下
下面给出了上述猪查询的分步说明。
- 从制表符分隔的 HDFS 文件中加载 100097 条记录。
- 按公司记录分组,就业状态
- 按 EmployeeID 统计记录。
- 转储输出。
执行上述查询后,Pig shell 说,成功读取了 100115 条记录。
在 Pig 查询成功执行后,我得到以下三个问题:
- 为什么 pig 准备的记录多于 HDFS 中可用的记录 (100115>100097)
- 为什么有警告消息“ACCESSING_NON_EXISTENT_FIELD 27 TIMES”
- 当我在 MySQL 中按查询运行相同的组时,结果的计数差异为 9。
请尽快解决我的问题。我的猪,hadoop 项目取决于您的及时响应。由于上述问题,我从过去 5 天开始感到震惊
apache - Sqoop:找不到命令
我目前正在使用带有 Hadoop 1.0.3 的 Ubuntu 12.04。我最近手动下载了 sqoop 并在 /etc/environment 中给出了路径。但是我的终端说'sqoop:找不到命令'。有人有什么想法吗?
hadoop - 我无法从我的 sql 服务器导入表以通过 sqoop 进行配置
当我通过命令时:
$sqoop create-hive-table --connect 'jdbc:sqlserver://10.100.0.18:1433;username=cloud;password=cloud123;database=hadoop' --table 集群
出现一些错误和警告,最后它说,无法启动数据库'/var/lib/hive/metastore/metastore_db',有关详细信息,请参阅下一个异常[再次显示导入错误列表]
最后它说 hive 以 satus 9 退出
这里有什么问题?我是 sqoop 和 hive 的新手。请任何人帮助我。
hadoop - 如何通过sqoop从sql server导入表到hdfs
我已经安装了hadoop、hive、sqoop。我将表从我的数据库导入到 hdfs 但无法将其导入配置单元。我需要在 hive 中配置任何文件吗?此外,当我浏览网页时,会显示 MySQL 的配置,但我使用的是驱动程序 jdbc:sqlserver。任何人都请帮助我,因为我坚持了很多天。
hadoop - 使用 sqoop 在 HDFS 中显示导入的表
我已经设置了一个单节点 hadoop 集群并将其配置为与 apache Hive 一起使用,现在当我使用以下命令(使用 sqoop)导入 mysql 表时
sqoop import --connect jdbc:mysql://localhost/dwhadoop --table 命令 --username root --password 123456 --hive-import
它运行成功,之后我做的时候抛出了一些异常
它没有列出orders
表格
如果我再次运行导入命令,它会给我orders
dir 已经存在的错误
请帮我找到解决方案
编辑:
我在导入之前没有创建任何表,我必须order
在运行导入之前在 hive 中创建一个表吗?如果我导入另一个表Customers
,它会给我以下异常
但是如果我再次运行导入,它会说