问题标签 [snappydata]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
snappydata - 如何 PARTITION_BY 列表中的多个列名?
该文档指出:
http://snappydatainc.github.io/snappydata/rowAndColumnTables/
“使用 PARTITION_BY {COLUMN} 子句提供一组将确定分区的列名”
我希望以下列作为分区键:id_和time_。
当我运行它时,它说一切都很好,但是,如果我执行snappy >describe example_column_table, time_ 和 id_ 仍然显示为 IS_NULLABLE = YES。
如果我只执行 PARTIION_BY 'time_',然后执行 snappy > describe example_column_table,则该列显示为 IS_NULLABLE = NO。
所以,我担心多列名分区不起作用?
snappydata - org.apache.spark.sql.catalyst.TableIdentifier 无法解析 SnappySQLJob 中的错误
我在尝试编写 SnappySQLJob 时遇到编译时错误。我是否缺少依赖项?
错误信息是:
org.apache.spark.sql.catalyst.TableIdentifier 类型无法解析。它是从所需的 .class 文件中间接引用的
这是我的 pom.xml 依赖项:
snappydata - 无法提交简单的 SnappySQLJob
我无法提交仅执行 System.out.println() 的简单作业。这是我从 SnappyData Lead 那里得到的错误。
这是工作:
这是 SnappyData 潜在客户日志:
16/08/05 17:44:07.352 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-14 INFO JarManager:为应用程序 SimpleJobApp 存储 jar,1052 字节 16/08/05 17:44:07.368 UTC SnappyLeadJobServer-akka.actor。 default-dispatcher-19 INFO LocalContextSupervisorActor:创建一个名为 snappyContext1470419047337607598 的 SparkContext 16/08/05 17:44:07.369 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 INFO JobManagerActor:启动 actor spark.jobserver.JobManagerActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 信息 JobStatusActor:启动演员 spark.jobserver.JobStatusActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-14 信息JobResultActor:启动演员 spark.jobserver.JobResultActor 16/08/05 17:44:07.371 UTC SnappyLeadJobServer-akka.actor。default-dispatcher-17 信息 LocalContextSupervisorActor:SparkContext snappyContext1470419047337607598 初始化 16/08/05 17:44:07.375 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-16 信息 RddManagerActor:启动演员 spark.jobserver.RddManagerActor 16/08/05 17: 44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JobManagerActor:为应用程序 SimpleJobApp 加载类 snappydata.jobs.SimpleJob 16/08/05 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17信息 SparkContext:添加了 JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JobManagerActor:为应用程序 SimpleJobApp 加载类 snappydata.jobs.SimpleJob 16/08/05 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 SparkContext :添加了 JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar 在389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JobManagerActor:为应用程序 SimpleJobApp 加载类 snappydata.jobs.SimpleJob 16/08/05 17:44:07.389 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 SparkContext :添加了 JAR /tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07.353Z.jar 在http://10.0.18.66:50772/jars/SimpleJobApp-2016-08-05T17_44_07.353Z.jar时间戳为 1470419047389 16/08/05 17:44:07.390 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO ContextURLClassLoader:添加 URL 文件:/tmp/spark-jobserver/filedao/data/SimpleJobApp-2016-08-05T17_44_07 .353Z.jar 到 ContextURLClassLoader 16/08/05 17:44:07.390 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JarUtils$:使用加载器 spark.jobserver.util.ContextURLClassLoader@ 加载对象 snappydata.jobs.SimpleJob$ 709f3e69 16/08/05 17:44:07.391 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 信息 JarUtils$:使用加载程序 spark.jobserver.util.ContextURLClassLoader@709f3e69 加载类 snappydata.jobs.SimpleJob@709f3e69 17:44:07.392 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobManagerActor:启动 Spark 作业 376c8d23-6b49-4138-aadd-e4cff8f9f945 [snappydata.jobs.SimpleJob] ... 2005 年 8 月 16 日 17:44 :07.398 UTC pool-29-thread-1 INFO JobManagerActor:启动作业未来线程 16/08/05 17:44:07.402 UTC SnappyLeadJobServer-akka.actor.default-dispatcher-17 INFO JobStatusActor:作业 376c8d23-6b49-4138-aadd- e4cff8f9f945 以错误结束 16/08/05 17:44:07.402 UTC pool-29-thread-2 WARN JobManagerActor:来自作业 376c8d23-6b49-4138-aadd-e4cff8f9f945 的异常:scala.MatchError:在 spark.jobserver.JobManagerActor 处为空$$anonfun$spark$jobserver$JobManagerActor$$getJobFuture$4.apply(JobManagerActor.scala:244) at scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24) at scala.concurrent.impl.Future $PromiseCompletingRunnable.run(Future.scala:24) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:第617章)
apache-spark - 对 SnappyData 运行 JUnit 时找不到 Jetty 的 GzipHandler 类
SnappyData v.0-5
我的目标是运行 snappydata 驱动程序以连接到远程服务器中的 SnappyData。我写了一个 Junit 来做到这一点。但是,当我运行它时,我得到一个 SparkContext 被实例化的错误:
我的 pom.xml 依赖项是:
dbvisualizer - DBVisualizer 和 SnappyData 的数据库配置文件?
我们正在使用 DBVisualizer Generic 配置文件和向导设置来访问 SnappyData Store,但是,该工具会随机丢失要加载的驱动程序类,然后,您每次都需要重新创建连接。
产品:DbVisualizer Pro 9.2 [Build #2348]
建立连接时出错:所选驱动程序无法处理指定的数据库 URL。此错误的最常见原因是数据库 URL 包含阻止驱动程序接受它的语法错误。尝试使用错误的驱动程序连接到数据库时也会发生该错误。更正此问题并重试。
是否有用于 SnappyData 的开源 DBVisualizer“数据库配置文件”或更好的解决方法来确保保留我们的通用数据库连接驱动程序设置?
sql - SnappyData - 创建 Kafka 流表时出错
在使用 snappy shell 中的 kafka 创建火花流表时,我看到了一个问题。
'异常'无效输入'C',预期dmlOperation,插入,withIdentifier,选择或放置(第1行,第1列):'
参考:http ://snappydatainc.github.io/snappydata/streamingWithSQL/#spark-streaming-overview
这是我的sql:
shell 似乎不喜欢第一个字符“C”处的脚本。我正在尝试使用以下命令执行脚本:
任何帮助表示赞赏!
snappydata - Spark 组件在 SnappyData 统一集群模式下位于何处?
我试图了解所有“Spark”部分适合 SnappyData 的“统一集群模式”部署拓扑的位置。
在阅读本文时,文档不清楚以下几点:
http://snappydatainc.github.io/snappydata/deployment/#unified-cluster-mode-aka-embedded-store-mode
- 谁是大师 - 领导者或定位者?
- 奴隶/工人执行... - 领导或服务器?
- 执行程序在...上执行-服务器(这在文档中似乎很简单)
- 应用程序在...上执行 - 领导或服务器?
- 作业在...上执行 - 领导或服务器?
- 流在...上执行 - 领导或服务器?
spark-jobserver - 将作业提交到 Snappy 作业服务器时如何传递键/值配置设置?
我有一项工作,每次都从不同的位置加载数据文件。我想提交相同的作业 JAR,并使用 runJavaJob() API 的 Config.java 参数将不同的位置传递给它。
我看不到将键/值配置传递给snappy-job.sh Usage的方法。
我该怎么做?
snappydata - 如何将指令传递给 snappy_ec2 创建的集群
我们需要在 snappy 配置文件中为各种组件(服务器、定位器等)设置一些指令。
这些snappy_ec2
脚本在创建所有配置并使它们在集群中保持同步方面做得很好,但我需要找到一种可用的方法来将指令添加到自动生成的脚本中。
使用此脚本的首选方法是什么?
示例:将以下内容添加到“服务器”文件:-gemfirexd.disable-getall-local-index=true
或者也许我应该将这些字符串添加到环境文件中,例如
snappy-env.sh
TIA
-道格
types - SnappyData 流表错误转换“时间戳”数据类型
我有一个活泼的流表,可以从 kafka 主题中读取 json。java.sql.Timestamp
经过一些工作,我已经完成了这项工作,但是在尝试将值从我的SensorData
对象映射到流表 时遇到了问题。
错误发生org.apache.spark.sql.catalyst.CatalystTypeConverters
在此方法的第 318 行:
我进行了调试,代码显然在这里期待一个字符串值,但我的 sensorData 对象(和流表)传感器和收集时间是时间戳。因此,它抱怨无法转换价值。
下面是我的 SensorData 类,我用它来映射来自 Kafka 的传入 json 消息中的值。在我的自定义转换器中,然后我将这些值映射到我Seq[Row]
的toRows(...)
方法中。
这是我的流表:
现在为了解决这个问题,我将 SensorData 对象中的数据类型更改为字符串以及流表中的列数据类型:即:
结果,在更改此数据类型后,我能够成功地将数据从 Kafka 流式传输到我的目标列表。
我的问题...我对 SnappyData/Streaming 世界还很陌生,想知道这是否是一个错误(已知/未知),或者是否有更优雅的方法将时间戳数据类型绑定到流表?
******根据响应更新********
这是我的行转换器:
我最初尝试转换一个 java 对象,但在解码它时遇到了问题(可能是由于我目前在升级时缺乏对 API 的了解)。我最终只是将一个 json 字符串传递给 Kafka。
我在@ https://github.com/SnappyDataInc/snappy-poc/blob/master/src/main/scala/io/snappydata/adanalytics/Codec.scala提供的示例中看到 我没有正确包装传入的时间戳值在构建我的 Seq[Row] 时使用 java.sql.Timestamp 调用(这很长一段时间)。我会试一试,看看是否能解决我的问题。