sparkcontext 创建如下
SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())
读取快速数据
snappySes.table("SNAPPY_COL_TABLE").show(10);
作业提交如下
/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --conf --conf snappydata.connection=localhost:1527 --conf spark.ui.port=0 --master local[*] --driver-memory 2g --jars --deploy-mode client --conf spark.driver.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --conf spark.executor.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --class myclass
作业正在连接到 snappydata，日志如下
在集群模式下初始化 SnappyData：智能连接器模式：sc = org.apache.spark.SparkContext@164d01ba, url = jdbc:snappydata://localhost[1527]/
但是由于找不到表而失败。这是指向不同的存储，列出了不同的表
如果使用 snappy 的 sparksubmit 提交相同的作业。按预期工作。唯一的变化是提交工作是
/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --- fails
/root/snappydata-1.0.1-bin/bin/spark-submit ---- Pass