1

我正在阅读文档，我想请您帮助我了解 SnappyData 智能连接器点。

文档中有几个不同的示例我应该如何使用 spark-submit 例如：

示例 1

  ./bin/spark-submit --deploy-mode cluster --class somePackage.someClass  
--master spark://localhost:7077 --conf spark.snappydata.connection=localhost:1527 
--packages "SnappyDataInc:snappydata:1.0.0-s_2.11"

示例 2

// Start the Spark standalone cluster from SnappyData base directory
$ sbin/start-all.sh 
// Submit AirlineDataSparkApp to Spark Cluster with snappydata's 
locator  host port.
$ bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark://masterhost:7077 --conf spark.snappydata.connection=locatorhost:clientPort --conf spark.ui.port=4041 $SNAPPY_HOME/examples/jars/quickstart.jar

示例 3

$ <Spark_Product_Home>/bin/spark-submit --master local[*] --conf 
spark.snappydata.connection=localhost:1527  --class 
org.apache.spark.examples.snappydata.SmartConnectorExample   --
packages SnappyDataInc:snappydata:1.0.0-s_2.11 
<SnappyData_Product_Home>/examples/jars/quickstart.jar

假设我在 3 台主机上有 Spark 集群：1 台主机和 3 台工人我想使用 SnappyData 集群作为我当前 Spark 环境的数据源。我应该使用示例 1 或 2 或 3 中的命令吗？

您能否向我解释一下 spark-submit 中的 --deploy-mode 参数是什么 - http://snappydatainc.github.io/snappydata/affinity_modes/connector_mode/ spark-submit 的集群模式和客户端模式有何不同？

预先感谢您的任何帮助。问候，

4

1 回答 1

0

此处解释了部署模式。使用 SnappyData 时没有什么不同。在运行您自己的 Spark 集群（与 Spark 2.1 兼容的任何 Spark 发行版）时，使用 SnappyData 只需要配置 Snappy 定位器（例如 localhost:1527）。

于 2017-10-24T20:05:47.203 回答