Spark中indexedRDD工作的状态如何？有人看过SnappyData吗？他们提出了一些关于能够对数据帧进行快速随机读取和写入的声明。

我已阅读文档，但找不到以下问题的答案：

• 我宁愿设置一个已经在运行的 spark 集群（即添加一个 jar 以便能够使用 SnappyContext），还是必须使用捆绑的 spark？如果可能，请提供帮助：SPARK_HOME 似乎是由启动器在运行时设置的

• 在哪里定义 JAVA_HOME？现在我在所有 snappy 服务器节点上的 bin/spark-class 中完成了它

• 使用 Scala 2.11 构建 SnappyData

赞赏，赛义夫

我似乎找不到使用 conf/servers 中设置的所有服务器启动 shell 的方法

只发现可以使用 /bin/snappy-job.sh 提交到集群作业，我在其中指定了引导位置，但想尝试实时 shell 使用整个集群执行一些测试

谢谢，

赛义夫

我正在尝试将 Pulse Web 应用程序部署到外部 Tomcat。部署时出现此错误。我应该如何解决这个问题？

org.springframework.beans.factory.NoSuchBeanDefinitionException：没有定义名为“org.springframework.security.authenticationManager”的bean：您是否忘记在配置中添加一个全局元素（带有子元素）？或者，您可以在 和 元素上使用 authentication-manager-ref 属性。

火花 v. 0.5

这是我用来启动定位器的命令：

看起来它在本地启动 DRDA 服务器，没有外部接口供客户端连接。因此，我无法使用来自外部客户端主机（例如我的 SquirrelSQL 编辑器）的这个 JDBC URL 访问我的 SnappyData 定位器。

这不连接：

我应该传递我的 ./snappy-shell.sh 位置启动命令什么属性来让 DRDA 服务器在公共 IP 地址而不是“localhost/127.0.0.1”上启动？

SnappyData v.0-5

我以非 root 用户身份登录 Ubuntu，'foo'。SnappyData 目录/安装由 'foo' 用户和 'foo' 组拥有。

我在这里使用脚本启动所有节点（定位器、引线、服务器）：

SNAPPY_HOME/sbin/snappy-start-all.sh

定位器启动。服务器启动。铅死于此错误。

16/07/21 23:12:26.883 UTC serverConnector INFO JobFileDAO: rootDir is /tmp/spark-jobserver/filedao/data 16/07/21 23:12:26.888 UTC serverConnector ERROR JobServer$: 无法启动 Spark JobServer: java .lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java .lang.reflect.Constructor.newInstance(Constructor.java:423) at spark.jobserver.JobServer$.start(JobServer.scala:69) at io.snappydata.impl.LeadImpl.startAddOnServices(LeadImpl.scala:283) at io .snappydata.impl.LeadImpl$.invokeLeadStartAddonService(LeadImpl.scala:360) 在 io.snappydata。ToolsCallbackImpl$.invokeLeadStartAddonService(ToolsCallbackImpl.scala:28) at org.apache.spark.sql.SnappyContext$.invokeServices(SnappyContext.scala:1362) at org.apache.spark.sql.SnappyContext$.initGlobalSnappyContext(SnappyContext.scala:1340 ) 在 org.apache.spark.sql.SnappyContext.(SnappyContext.scala:104) 在 org.apache.spark.sql.SnappyContext.(SnappyContext.scala:95) 在 org.apache.spark.sql.SnappyContext$.newSnappyContext (SnappyContext.scala:1221) 在 org.apache.spark.sql.SnappyContext$.apply(SnappyContext.scala:1249) 在 org.apache.spark.scheduler.SnappyTaskSchedulerImpl.postStartHook(SnappyTaskSchedulerImpl.scala:25) 在 org.apache .spark.SparkContext.(SparkContext.scala:601) 在 io.snappydata.impl.LeadImpl.start(LeadImpl.scala:129) 在 io.snappydata.impl.ServerImpl.start(ServerImpl.scala:32) 在 io.snappydata.tools.LeaderLauncher.startServerVM(LeaderLauncher.scala:91) 在 com.pivotal.gemfirexd.tools.internal.GfxdServerLauncher.connect(GfxdServerLauncher.java:174) 在 com.gemstone.gemfire.internal.cache .CacheServerLauncher$AsyncServerLauncher.run(CacheServerLauncher.java:1003) at java.lang.Thread.run(Thread.java:745) 原因：java.io.FileNotFoundException: /tmp/spark-jobserver/filedao/data/jars。在 java.io.FileOutputStream.open(FileOutputStream.java:270) 在 java.io.FileOutputStream.(FileOutputStream.java:213) 在 spark.jobserver 的 java.io.FileOutputStream.open0(Native Method) 的数据（权限被拒绝） .io.JobFileDAO.init(JobFileDAO.scala:90) at spark.jobserver.io.JobFileDAO.(JobFileDAO.scala:30) ... 22 更多 16/07/21 23:12:26.891 UTC 分布式系统关闭挂钩信息快速商店：VM 正在退出 - 关闭分布式系统

我是否需要成为其他用户才能启动 Lead 节点？使用“须藤”？配置一个属性来告诉 Spark 使用目录 'foo' 有权限吗？提前自己创建这个目录？

SnappyData 文档和架构图似乎表明 JDBC 瘦客户端连接从客户端到定位器，然后路由到与服务器的直接连接。

如果这是真的，那么我可以在没有 Lead 节点的情况下运行 JDBC 查询，对吗？

SnappyData v.0.5

在我们的 AWS SnappyData 实例中，我们具有以下属性：

1. 公共IP：52.xxx（暴露在互联网上）
2. 私有/内部 IP：172.xxx（仅在 AWS 内部公开）
3. 私有/内部名称：ip-172-xxx.us-west-2.compute.internal（仅在 AWS 内部公开）

为了从我的 Windows 客户端连接 JDBC，我使用如下 JDBC URL：

jdbc:snappydata://52.xxx:1527/

连接产生的事件顺序是：

1. JDBC 客户端连接到 AWS 并在 172.xxx:1527 处到达定位器
2. 定位器找到运行在 172.xxx:somePort 的服务器
3. 定位器将内部主机名发送回 Windows 客户端
4. Windows JDBC 客户端尝试连接到此：

ip-172-xxx.us-west-2.compute.internal

JDBC 连接失败是因为只有 52.xxx IP 地址对 Internet 真正公开可用。

为了补救，我不得不更改我的 Windows 主机文件，添加以下映射：

请提供更好的方法，这样我的客户就不需要破解他们的“主机”文件。

SnappyData v.0.5

我想做一些类似于加载快速启动加载脚本中的镶木地板文件的事情。

CREATE TABLE STAGING_AIRLINEREF 使用镶木地板选项（路径'../../quickstart/data/airportcodeParquetData'）；

但是，我有 CSV 文件而不是镶木地板文件。我在任何 RowStore 文档中都没有看到“使用镶木地板”或 CSV 版本，所以我猜测了一下，结果失败了。

使用 csv 选项创建表 STAGING_ROADS(path 'roads.csv');

如何直接从 CSV 文件创建表，其中标题行是列名，其余作为数据行加载？

编辑

好的。遵循 Spark-CSV 语法，我加载此文件并获取零行或表。

SnappyData v.0-5

我遇到的问题是我的 JDBC Connection 的表元数据和 Pulse Web App 看不到我在下面创建的表。

我使用 shell 和 csv 文件在 SnappyData 中创建了一个表。

数据在这里（roads.csv）：

==================================================== ========

我有一个 SnappyData JDBC 连接（DBVisualizer 和 SquirrelSQL 显示相同）。我在元数据的“表格”列表中看不到该表格。但是，如果我执行“从 STAGING_ROADS 中选择 *”。

返回 10 行带有 CLOB 的行，顺便说一句，这些行完全不可用。

其次，当我从 snappy> shell 中创建表时，Pulse Web App 没有注册我创建的表。但是，如果我从 JDBC 客户端运行 CREATE TABLE 命令，它会显示得很好。

我做错了什么吗？如何获取有关我在 snappy> shell 中创建的表的元数据以显示在 JDBC 和 Pulse 中？