apache-spark - 如果 Spark SQL 支持像“插入覆盖目录”这样的 HQL？

Question

我想问一下 Spark SQL 是否支持像“插入覆盖目录”这样的 HQL。还是有另一种方法可以将结果集（从 spark sql jdbc 服务器）直接保存到 HDFS？

Answer 1

这个问题有一个 jira 尚未解决，它的 jira 链接是https://issues.apache.org/jira/browse/SPARK-4131。但是你可以这样做：

    JavaSchemaRDD employeeSchemaRDD = context.sql("SELECT * FROM employee");

    JavaRDD<String> strRDD=employeeSchemaRDD.map(new Function<Row, String>() {

        public String call(Row row) throws Exception {
            // TODO Auto-generated method stub
            return row.get(1).toString();
        }

    });
strRDD.saveAsTextFile("outputdir");

将 outputdir 替换为要写入输出的 HDFS url。希望这个回答你的问题。