问题标签 [sqoop]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 与 sqoop-import 相关的查询？
设想：
我已将数据从 SQl Server 导入到 HDFS。HDFS 目录中的数据存储在多个文件中，如下所示：
零件-m-00000
零件-m-00001
零件-m-00002
零件-m-00003
问题：
我的问题是，在从 HDFS 目录读取这些存储的数据时，我们必须读取所有文件（part-m-00000,01,02,03）或只是part-m-00000. 因为当我读取该数据时，我发现 HDFS 内部的数据有点丢失。那么，是它发生了还是我错过了什么？
hadoop - 将数据从 HDFS 导入 HBase (cdh3u2)
我已经安装了 hadoop 和 hbase cdh3u2。在 hadoop 中，我在路径中有一个文件/home/file.txt。它有类似的数据
我想将此文件导入 hbase。其中，第一个字段应解析为字符串，第二个字段应解析为整数，然后将其推入 hbase。帮我做这件事
提前谢谢....
hadoop - 将 HBase 数据导出到 RDBMS
我正在使用 HBase 存储数据，但后来为了满足我的要求，我想将数据从 HBase 导出到 RDBM，如 mysql 或 postgres。我知道我们有 Sqoop 作为选项，但它从 MySQL 导入并将其放入 HBase，并将 HDFS 中保存的数据导出到 RDBMS，它不能直接从 HBase 导入数据。
是否有任何工具可以将数据从 HBase 表导出到 RDBMS 表？
hive - sqoop导入时在hive中创建表相关的查询
我正在尝试将 sqoop 从 SQL Server 导入 Hive。当我执行 sqoop-import 命令时，问题是导入任务完成，我可以看到 HDFS 上的完整数据（在 /user/hive/warehouse/table_name_dir 下）但是当我在 HIve CLI 中执行“SHOW TABLES”命令时无法看到列表中的表格。
（一旦我尝试过：在导入表后发生与上面相同的事情，然后我在 Hive CLI 中运行 CREATE TABLE QUERY，并采用与导入的字段相同的字段，我能够在 Hive CLI 中查看和访问表。但我不认为这是每次我表演的有效方式）。
请建议我一些解决方案我错过了任何步骤还是有任何问题？我不明白为什么会这样？谢谢大家
hive - 在 Hive 中导入表后显示错误计数
我从 MS SQL Server 在 Hive 中导入了近 10 个表。但是，当我尝试在其中一个表中交叉检查 Hive 中的记录时，我在运行查询时发现了更多记录（从 tblName 中选择计数（*）；）。
然后我删除了该表并再次将其导入 Hive。我在控制台日志中观察到（检索到 203 条记录）。然后我再次尝试 (select count(*) from tblName;)，我得到的计数是 298。
我不明白为什么会这样。查询中是否有任何错误或由于 sqoop-import 的某些错误命令而发生。
所有其他表记录都很好。
请帮我解决这个问题。
java - 如何在 Java 程序中使用 Sqoop？
我知道如何通过命令行使用 sqoop。但不知道如何使用 java 程序调用 sqoop 命令。任何人都可以提供一些代码视图吗？
sql-server-2008 - Sqoop 进行身份验证但无法启动 map reduce 作业
我正在尝试使用 sqoop 将数据从 HDFS 传输到 MSSQL 服务器。但由于某些原因，sqoop 挂在
我检查了防火墙，它允许没有任何限制的连接。Sqoop 已通过身份验证，但在通过身份验证后不会启动 map reduce 作业。有没有人遇到过类似的问题？
sql-server - 使用 SQOOP 从 HIVE 导出数据后如何在 SQL Server 中触发触发器
我正在使用蜂巢。我已经在其中实现了一些任务，并希望使用 SQOOP 将表从 Hive 导出到 SQL Server。
当表从 Hive 导出时，我想在 SQL Server 中触发触发器。是否可以触发触发器？
请尽快回复我。
谢谢。
sql-server - 在 sqoop-export 中遇到一些问题？
我已将多次表从 Hive 导出到 SQL Server。我从来没有遇到过这个问题。
我将字段分隔符用作“，”，并且还在 SQL Server 中创建了一个表。
[我的版本是 as-hadoop-0.20.2-cdh3, sqoop-1.3.0-cdh3u1, hive-0.7.1]
我做错什么了吗。？请帮我解决这个问题。
非常感谢。
mysql - 是否可以读取 MongoDB 数据，使用 Hadoop 对其进行处理，并将其输出到 RDBS (MySQL) 中？
概括：
是否有可能：
- 使用 «MongoDB Connector for Hadoop» 将数据导入 Hadoop。
- 使用 Hadoop MapReduce 处理它。
- 在单个事务中使用 Sqoop 将其导出。
我正在使用 MongoDB 构建一个 Web 应用程序。虽然 MongoDB 在大部分工作中运行良好，但在某些部分我需要更强大的事务保证，为此我使用 MySQL 数据库。
我的问题是我想读取一个大的 MongoDB 集合进行数据分析，但是集合的大小意味着分析工作需要很长时间来处理。不幸的是，MongoDB 的内置 map-reduce 框架不能很好地完成这项工作，所以我更愿意使用Apache Hadoop进行分析。
我知道可以使用«MongoDB Connector for Hadoop»从 MongoDB 读取数据到 Hadoop ，它从 MongoDB 读取数据，在 Hadoop 中使用 MapReduce 处理它，最后将结果输出回 MongoDB 数据库。
问题是我希望 MapReduce 的输出进入 MySQL 数据库，而不是 MongoDB，因为结果必须与其他 MySQL 表合并。
为此，我知道 Sqoop 可以将 Hadoop MapReduce 的结果导出到 MySQL。
最终，我也想读取 MongoDB 数据，然后使用 Hadoop 对其进行处理，最后将结果输出到 MySQL 数据库中。
这可能吗？有哪些工具可以做到这一点？