问题标签 [snappydata]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
snappydata - 无法使用 spark-shell 命令连接到 snappydata 存储
SnappyData v0.5
我的目标是从我的 SnappyData 安装的 /bin 目录启动一个“spark-shell”，并针对我的 SnappyData 存储中的现有表发出 Scala 命令。
我与我的 SnappyData 存储、定位器和潜在客户位于同一主机上（是的，它们都在运行）。
为此，我根据此处的文档运行此命令：
~/snappydata/bin$ spark-shell --master local[*] --conf snappydata.store.locators=10.0.18.66:1527 --conf spark.ui.port=4041
我在尝试为我的商店创建 spark-shell 时收到此错误：
[TRACE 2016/08/12 15:21:55.183 UTC GFXD:error:FabricServiceAPI tid=0x1] 启动服务器时发生 XJ040 错误：java.sql.SQLException(XJ040): 无法启动数据库
ase 'snappydata'，请参阅原因了解详情。java.sql.SQLException(XJ040): 启动数据库'snappydata'失败，查看原因。在 com.pivotal.gemfirexd.internal.impl.jdbc.SQLExceptionFactory40.getSQLException(SQLExceptionFactory40.java:124) 在 com.pivotal.gemfirexd.internal.impl.jdbc.Util.newEmbedSQLException(Util.java:110) 在 com.pivotal .gemfirexd.internal.impl.jdbc.Util.newEmbedSQLException(Util.java:136) 在 com.pivotal.gemfirexd.internal.impl.jdbc.Util.generateCsSQLException(Util.java:245) 在 com.pivotal.gemfirexd.internal .impl.jdbc.EmbedConnection.bootDatabase(EmbedConnection.java:3380) 在 com.pivotal.gemfirexd.internal.impl.jdbc.EmbedConnection.(EmbedConnection.java:450) 在 com.pivotal.gemfirexd.internal.impl.jdbc。嵌入连接 30。原因：com.gemstone.gemfire.GemFireConfigException：无法联系定位器服务（超时 = 5000 毫秒）。操作超时或定位器不存在。配置的定位器列表是“[dev-snappydata-1(null):1527]”。在 com.gemstone.gemfire.distributed.internal.membership.jgroup.GFJGBasicAdapter.getGemFireConfigException(GFJGBasicAdapter.java:533) 在 com.gemstone.org.jgroups.protocols.TCPGOSSIP.sendGetMembersRequest(TCPGOSSIP.java:212) 在 com.gemstone .org.jgroups.protocols.PingSender.run(PingSender.java:82) 在 java.lang.Thread.run(Thread.java:745)
snappydata - 无法使用 conf/log4j.properties 在 SnappyData 上配置日志记录
我正在按照此文档配置登录 snappydata：
http://snappydatainc.github.io/snappydata/configuration/#logging
当我将 conf/log4j.properties.template 更改为“log4j.properties”然后停止/启动所有备份时，我在 snappylead.log 中得到零日志记录。当我开始时没有配置 log4j.properties，我得到 392KB 的日志记录。
我也没有看到我自己的课程记录。
log4j.properties
log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=% d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
log4j.logger.org.spark-project.jetty=警告
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=错误 log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO log4j.logger.org.apache.spark.repl.SparkILoop$ SparkILoopInterpreter=INFO log4j.logger.org.apache.parquet=错误 log4j.logger.parquet=错误
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=致命 log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=错误
log4j.logger.io.snappydata=调试
log4j.logger.com.pivotal.gemfirexd=信息
log4j.logger.my.own.classes=调试
snappyserver.log 只有这些行
sql - SnappyData - 从列表中删除不一致的结果
通读文档-> http://snappydatainc.github.io/snappydata/rowAndColumnTables/#row-and-column-tables
我看到我们应该能够对行表和列表执行 DELETE FROM .... sql 语句。尝试从列表中删除时，我看到不一致的结果。
这是我的桌子：
这是一个示例删除语句：
从 MY_TABLE_COL 中删除，其中 my_time >= '2016-08-10 00:00:00'
我一直在尝试从 Squirrel SQL 和 snappy-shell 进行此查询。有时我希望删除的部分记录实际上会被删除。其他时候，零记录被删除。
我可以使用 TRUNCATE TABLE MY_TABLE_COL 命令清除所有数据，但这不会长期有效，因为我们需要能够有选择地从表中删除。
任何帮助表示赞赏！
parameters - SnappyData - 流表参数“主题”说明
我正在阅读文档（http://snappydatainc.github.io/snappydata/streamingWithSQL/）并想知道使用 kafka 时主题名称后的参数“:01”是什么意思。这是服务器正在使用的分区号还是线程数？
即：“主题'streamTopic：01 '
抱歉，如果某处提到了这一点，但我找不到。
spring-jdbc - 无法执行 NamedParameterJdbcTemplate UPDATE
我正在尝试通过 JDBC API 和 Spring 的 NamedParameterJdbcTemplate 对 SnappyData 行表执行更新。
错误是：
NamedParameter SQL 如下所示：
注意： VERSION 列类型是整数。所有其余的列类型都是字符串。
SQL 看起来像这样，这对我来说似乎没问题：
snappydata - 了解我的 SnappyData 表的存储桶数？
默认的桶数是 113。为什么？为什么不是110？桶逻辑是否在某个“可除以”值下表现更好。
SnappyData 中有很多桶较少的示例。这是为什么？确定使用比默认 113 更少的存储桶的逻辑是什么？
选择少有什么影响？更多的桶呢？我看到很多日志记录在我的 Spark SQL 查询中，在每个存储桶中查找数据。拥有更多存储桶对查询的性能是否更差？
snappydata - 时序表中 PARTITION BY 的哪些列？
我想收集时间序列数据并将其存储在 snappydata 存储中。我将收集数百万行数据，并且我想跨时间片/范围进行查询。
这是我想做的一个示例查询：
所以，我想我想在时间列上使用 PARTITION BY COLUMN 而不是经典的 PRIMARY KEY 列。在我熟悉的其他技术（如 Cassandra DB）中，使用分区键中的时间列会将我直接指向分区，并允许在单个节点中提取时间片的数据，而不是跨多个分布式节点。
为了提高性能，我假设我需要按此表中的“时间”列进行分区。
这是为高效的时间片查询分区的正确列，还是我需要创建更多列，例如：year_num、month_num、day_num、hour_num 列和 PARTITION BY COLUMN，然后执行类似查询这将查询集中到特定的分区节点？：
snappydata - 如果 Partition 列不在 Where 谓词中，查询优化是否会失败？
假设我有 20 个 SnappyData 节点。
而且，我有一张这样的桌子：
example_timeseries_table
而且，我提出以下查询：
SnappyData 是否调用所有 20 个节点，收集结果然后返回响应？如果是这样，我将如何改进如何进行此类查询？表是否应该设计不同以使“foo”成为 PARTITION 列？
streaming - 使用分区键的 SnappyData 表定义
通读文档（http://snappydatainc.github.io/snappydata/streamingWithSQL/）并对此项目有疑问：
“通过共同分区减少混洗：使用 SnappyData，输入队列（例如，用于 Kafka 源）、流处理器和底层存储使用的分区键都可以相同。这大大减少了混洗记录的需要。”
如果我们使用 Kafka 并使用键（单个值）将我们的数据分区到一个主题中。是否可以将这个单个键从 kafka 映射到 snappy 表中标识的多个分区键？
是否有某种散列可以将多个键变成一个键？
减少洗牌的好处似乎很重要，并试图在这里了解最佳实践。
谢谢！
snappydata - 在 SnappyData v.0.5.2 中找不到内置提供程序 com.databricks.spark.csv
SnappyData v.0.5.2
我正在使用这个 SnappyData 版本来修复 SNAP-961。
但是，在从预览版 v0.5 移动到 v0.5.2 之后，现在我无法再从 CSV 加载数据了。
错误是：
错误 38000: (SQLState=38000 Severity=-1) (Server=ip-10-0-18-66.us-west-2.compute.internal[1528],Thread[DRDAConnThread_28,5,gemfirexd.daemons])异常'找不到内置提供程序 com.databricks.spark.csv;' 在评估表达式时抛出。
这是我正在执行的操作：