问题标签 [snappydata]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
64 浏览

snappydata - 如何 PARTITION_BY 列表中的多个列名?

该文档指出:

http://snappydatainc.github.io/snappydata/rowAndColumnTables/

“使用 PARTITION_BY {COLUMN} 子句提供一组将确定分区的列名”

我希望以下列作为分区键:id_time_

当我运行它时,它说一切都很好,但是,如果我执行snappy >describe example_column_table, time_ 和 id_ 仍然显示为 IS_NULLABLE = YES。

如果我只执行 PARTIION_BY 'time_',然后执行 snappy > describe example_column_table,则该列显示为 IS_NULLABLE = NO。

所以,我担心多列名分区不起作用?

0 投票
1 回答
222 浏览

snappydata - org.apache.spark.sql.catalyst.TableIdentifier 无法解析 SnappySQLJob 中的错误

我在尝试编写 SnappySQLJob 时遇到编译时错误。我是否缺少依赖项?

错误信息是:

org.apache.spark.sql.catalyst.TableIdentifier 类型无法解析。它是从所需的 .class 文件中间接引用的

这是我的 pom.xml 依赖项:

0 投票
1 回答
160 浏览

snappydata - 无法提交简单的 SnappySQLJob

我无法提交仅执行 System.out.println() 的简单作业。这是我从 SnappyData Lead 那里得到的错误。

这是工作:

这是 SnappyData 潜在客户日志:

16/08/05 17:44:07.352 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-14 INFO JarManager:为应用程序 SimpleJobApp 存储 jar,1052 字节 16/08/05 17:44:07.368 UTC SnappyLeadJobServer-akka.actor。 default-dispatcher-19 INFO LocalContextSupervisorActor:创建一个名为 snappyContext1470419047337607598 的 SparkContext 16/08/05 17:44:07.369 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 INFO JobManagerActor:启动 actor spark.jobserver.JobManagerActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 信息 JobStatusActor:启动演员 spark.jobserver.JobStatusActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-14 信息JobResultActor:启动演员 spark.jobserver.JobResultActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor。default-dispatcher-17 信息 LocalContextSupervisorActor:SparkContext snappyContext1470419047337607598 初始化 16/08/05 17:44:07.375 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 信息 RddManagerActor:启动演员 spark.jobserver.RddManagerActor 16/08/05 17: 44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JobManagerActor:为应用程序 SimpleJobApp 加载类 snappydata.jobs.SimpleJob 16/08/05 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17信息 SparkContext:添加了 JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JobManagerActor:为应用程序 SimpleJobApp 加载类 snappydata.jobs.SimpleJob 16/08/05 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 SparkContext :添加了 JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar 在389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JobManagerActor:为应用程序 SimpleJobApp 加载类 snappydata.jobs.SimpleJob 16/08/05 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 SparkContext :添加了 JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar 在http://10.0.18.66:50772/jars/SimpleJobApp-2016-08-05T17_44_07.353Z.jar时间戳为 1470419047389 16/08/05 17:44:07.390 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO ContextURLClassLoader:添加 URL 文件:/tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07 .353Z.jar 到 ContextURLClassLoader 16/08/05 17:44:07.390 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JarUtils$:使用加载器 spark.jobserver.util.ContextURLClassLoader@ 加载对象 snappydata.jobs.SimpleJob$ 709f3e69 16/08/05 17:44:07.391 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JarUtils$:使用加载程序 spark.jobserver.util.ContextURLClassLoader@709f3e69 加载类 snappydata.jobs.SimpleJob@709f3e69 17:44:07.392 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobManagerActor:启动 Spark 作业 376c8d23-6b49-4138-aadd-e4cff8f9f945 [snappydata.jobs.SimpleJob] ... 2005 年 8 月 16 日 17:44 :07.398 UTC pool-29-thread-1 INFO JobManagerActor:启动作业未来线程 16/08/05 17:44:07.402 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobStatusActor:作业 376c8d23-6b49-4138-aadd- e4cff8f9f945 以错误结束 16/08/05 17:44:07.402 UTC pool-29-thread-2 WARN JobManagerActor:来自作业 376c8d23-6b49-4138-aadd-e4cff8f9f945 的异常:scala.MatchError:在 spark.jobserver.JobManagerActor 处为空$$anonfun$spark$jobserver$JobManagerActor$$getJobFuture$4.apply(JobManagerActor.scala:244) at scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24) at scala.concurrent.impl.Future $PromiseCompletingRunnable.run(Future.scala:24) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:第617章)

0 投票
1 回答
185 浏览

apache-spark - 对 SnappyData 运行 JUnit 时找不到 Jetty 的 GzipHandler 类

SnappyData v.0-5

我的目标是运行 snappydata 驱动程序以连接到远程服务器中的 SnappyData。我写了一个 Junit 来做到这一点。但是,当我运行它时,我得到一个 SparkContext 被实例化的错误:

我的 pom.xml 依赖项是:

0 投票
1 回答
152 浏览

dbvisualizer - DBVisualizer 和 SnappyData 的数据库配置文件?

我们正在使用 DBVisualizer Generic 配置文件和向导设置来访问 SnappyData Store,但是,该工具会随机丢失要加载的驱动程序类,然后,您每次都需要重新创建连接。

产品:DbVisualizer Pro 9.2 [Build #2348]

建立连接时出错:所选驱动程序无法处理指定的数据库 URL。此错误的最常见原因是数据库 URL 包含阻止驱动程序接受它的语法错误。尝试使用错误的驱动程序连接到数据库时也会发生该错误。更正此问题并重试。

是否有用于 SnappyData 的开源 DBVisualizer“数据库配置文件”或更好的解决方法来确保保留我们的通用数据库连接驱动程序设置?

0 投票
2 回答
232 浏览

sql - SnappyData - 创建 Kafka 流表时出错

在使用 snappy shell 中的 kafka 创建火花流表时,我看到了一个问题。

'异常'无效输入'C',预期dmlOperation,插入,withIdentifier,选择或放置(第1行,第1列):'

参考:http ://snappydatainc.github.io/snappydata/streamingWithSQL/#spark-streaming-overview

这是我的sql:

shell 似乎不喜欢第一个字符“C”处的脚本。我正在尝试使用以下命令执行脚本:

任何帮助表示赞赏!

0 投票
1 回答
105 浏览

snappydata - Spark 组件在 SnappyData 统一集群模式下位于何处?

我试图了解所有“Spark”部分适合 SnappyData 的“统一集群模式”部署拓扑的位置。

在阅读本文时,文档不清楚以下几点:

http://snappydatainc.github.io/snappydata/deployment/#unified-cluster-mode-aka-embedded-store-mode

  1. 谁是大师 - 领导者或定位者?
  2. 奴隶/工人执行... - 领导或服务器?
  3. 执行程序在...上执行-服务器(这在文档中似乎很简单
  4. 应用程序在...上执行 - 领导或服务器?
  5. 作业在...上执行 - 领导或服务器?
  6. 流在...上执行 - 领导或服务器?
0 投票
1 回答
151 浏览

spark-jobserver - 将作业提交到 Snappy 作业服务器时如何传递键/值配置设置?

我有一项工作,每次都从不同的位置加载数据文件。我想提交相同的作业 JAR,并使用 runJavaJob() API 的 Config.java 参数将不同的位置传递给它。

我看不到将键/值配置传递给snappy-job.sh Usage的方法。

我该怎么做?

0 投票
1 回答
48 浏览

snappydata - 如何将指令传递给 snappy_ec2 创建的集群

我们需要在 snappy 配置文件中为各种组件(服务器、定位器等)设置一些指令。

这些snappy_ec2脚本在创建所有配置并使它们在集群中保持同步方面做得很好,但我需要找到一种可用的方法来将指令添加到自动生成的脚本中。

使用此脚本的首选方法是什么?

示例:将以下内容添加到“服务器”文件:-gemfirexd.disable-getall-local-index=true

或者也许我应该将这些字符串添加到环境文件中,例如 snappy-env.sh

TIA

-道格

0 投票
1 回答
108 浏览

types - SnappyData 流表错误转换“时间戳”数据类型

我有一个活泼的流表,可以从 kafka 主题中读取 json。java.sql.Timestamp经过一些工作,我已经完成了这项工作,但是在尝试将值从我的SensorData对象映射到流表 时遇到了问题。

错误发生org.apache.spark.sql.catalyst.CatalystTypeConverters在此方法的第 318 行:

我进行了调试,代码显然在这里期待一个字符串值,但我的 sensorData 对象(和流表)传感器和收集时间是时间戳。因此,它抱怨无法转换价值。

下面是我的 SensorData 类,我用它来映射来自 Kafka 的传入 json 消息中的值。在我的自定义转换器中,然后我将这些值映射到我Seq[Row]toRows(...)方法中。

这是我的流表:

现在为了解决这个问题,我将 SensorData 对象中的数据类型更改为字符串以及流表中的列数据类型:即:

结果,在更改此数据类型后,我能够成功地将数据从 Kafka 流式传输到我的目标列表。

我的问题...我对 SnappyData/Streaming 世界还很陌生,想知道这是否是一个错误(已知/未知),或者是否有更优雅的方法将时间戳数据类型绑定到流表?

******根据响应更新********

这是我的行转换器:

我最初尝试转换一个 java 对象,但在解码它时遇到了问题(可能是由于我目前在升级时缺乏对 API 的了解)。我最终只是将一个 json 字符串传递给 Kafka。

我在@ https://github.com/SnappyDataInc/snappy-poc/blob/master/src/main/scala/io/snappydata/adanalytics/Codec.scala提供的示例中看到 我没有正确包装传入的时间戳值在构建我的 Seq[Row] 时使用 java.sql.Timestamp 调用(这很长一段时间)。我会试一试,看看是否能解决我的问题。