apache-spark - 使用 HiveWarehouseSession.session(spark).build() 创建 Hive 外部表的 API 或目录操作

Question

我正在使用 HDP 3.X 集群并使用 spark_llap 运行 spark sql，有没有办法使用 hive.createTable 创建外部配置单元表，因为 Hortonworks 网站中提供的示例是使用以下代码，而此代码将创建托管表，但我需要外部表。

hive.createTable("web_sales").ifNotExists().column("sold_time_sk", "bigint").column("ws_ship_date_sk", "bigint").create()

Answer 1

您可以直接使用 spark session 创建表。

示例1：

  //drop the table if already created
    spark.sql("drop table if exists my_table");
    //create the table using the dataframe schema
    spark.sql("create table my_table(....
    ") row format delimited fields terminated by '|' location '/my/hdfs/location'");

示例 2：

spark.sql('create table movies \
         (movieId int,title string,genres string) \
         row format delimited fields terminated by ","\
         stored as textfile')                                              # in textfile format
spark.sql("create table ratings\
           (userId int,movieId int,rating float,timestamp string)\
           stored as ORC" )