sql-server - 将 SQL Server 表导入 HDFS

Question

我是 Hadoop 新手，关于使用 sqoop 将表从 SQL Server 导入到 hdfs 的问题很少：

1. 如何使用 sqoop 和任何其他方式将整个数据库导入 hadoop。
2. 如何导入没有主键的单个表，或者是否可以导入没有主键的 SQL Server 表。

Answer 1

1. 如何使用 sqoop 和任何其他方式将整个数据库导入 hadoop。

   您可以使用sqoop-import-all-tables来执行此操作。其他方法是使用DBInputFormat编写自己的作业。

2. 如何导入没有主键的单个表，或者是否可以导入没有主键的 SQL Server 表。

   您可以使用--split-by指定除主键列之外的列。

Answer 2

对于第二个问题-如何导入没有主键的单个表，或者是否可以导入没有主键的 SQL Server 表。

当我们导入的表没有主键时，我们需要在命令中指定要使用多少个映射器。这可以通过 sqoop 导入中的选项“-m”或“--Split-by”指定

例如：

$ bin/sqoop import -connect jdbc:mysql://localhost:3306/db1 -username root -password password --table tableName --target-dir /user/tableName -m 1