问题标签 [scylla]

在决定我自己的产品的技术堆栈时，我决定使用 scyllaDB 作为数据库，因为它具有令人印象深刻的性能。

对于本地开发，我在我的 Macbook 上设置了 Cassandra。考虑到 ScyllaDB 现在支持（实验）MV（Materialized View），它使开发变得容易。对于开发服务器，我在 Linod 上托管的 Ubuntu 16.04 上运行 ScyllaDB。

我面临以下问题：

1. 几周后，有一天，当我使用分区键从基表（从在 Ubuntu 上运行的 ScyllaDB）中删除一个条目时，相应的 MV 仍然显示已删除记录的相应条目。在我删除整个 Key-Space 并重新创建它后，它已修复，但我无法确定导致这种不一致的原因。

2. 当我删除 MV 并重新创建它时，它并没有复制旧数据。我试图搜索，但找不到强制 MV 从基表读取并填充自身的方法。

对于第一个问题，我想知道是否有人遇到过类似的情况。另外，如果我可以采取任何措施来防止这种情况发生，或者如果无法防止这种情况发生，那就是“实验性”的意思。

任何帮助或参考表示赞赏。

在 Java Spark 中，我有一个包含“bucket_timestamp”列的数据框，该列表示该行所属的存储桶的时间。

我想将数据帧写入 Cassandra DB。数据必须使用 TTL 写入 DB。TTL 应取决于存储桶时间戳 - 每行的 TTL 应计算为ROW_TTL = CONST_TTL - (CurrentTime - bucket_timestamp)，其中CONST_TTL是我配置的常量 TTL。

目前我正在使用恒定的 TTL 用 spark 写信给 Cassandra，代码如下：

我想到的一种可能的方法是 - 对于每个可能的 bucket_timestamp - 根据时间戳过滤数据，计算 TTL 并将过滤后的数据写入 Cassandra。但这似乎非常低效，而不是火花方式。Java Spark 中有没有办法提供一个 spark 列作为 TTL 选项，以便每一行的 TTL 都不同？

解决方案应该使用 Java 和数据集<行>：我遇到了一些在 scala 中使用 RDD 执行此操作的解决方案，但没有找到使用 Java 和数据框的解决方案。

谢谢！

我已经探索了BlueMix和Compose.com支持的JanusGraph 的 compose

但它们都提供 0.1.1 版本的服务。所以我不能同时使用它们。我还有其他选择吗？

我正在尝试将安装了一台 pc 的 scylladb 表读取到另一台 pc 上的 pyspark 数据帧中。
2 台电脑有 ssh 连接，我可以通过 python 代码读取表格，只有在连接 spark 时才会出现问题。我使用了这个连接器：

我的 spark -version = 2.3.1 ，scala-version-2.11.8。

结果错误：

文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/sql/readwriter.py”，第 172 行，在加载文件“/usr/local/spark/python/lib/py4j-0.10.7- src.zip/py4j/java_gateway.py”，第 1257 行，通话中 文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/sql/utils.py”，第 63 行，在 deco 文件“/usr/local/spark/python/lib/py4j-0.10.7- src.zip/py4j/protocol.py"，第 328 行，在 get_return_value py4j.protocol.Py4JJavaError：调用 o43.load 时出错。: java.lang.ClassNotFoundException: org.apache.spark.Logging 在 Spark 2.0 中被移除。请在 org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala) 的 org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:646) 检查您的库是否与 Spark 2.0 兼容:190) 在 org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:164) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl。

我使用的另一种方法是：

为此，我得到：

AttributeError：“SparkContext”对象没有“读取”属性

第三种方法：

为此，我得到与第一种方法相同的错误。

请告知是scylla spark连接器问题还是一些火花库问题以及如何解决。

我需要提供类似的实用功能，例如可以通过

nodetool tablestats

我已经查看了他们的源代码，但没有找到通过代码访问它的便捷解决方案。

有没有可用的图书馆？

https://github.com/mariusae/cassandra/blob/master/src/java/org/apache/cassandra/tools/NodeProbe.java

我正在尝试将 json 数据插入到我的 scylla 表中，但它正在吐出一个错误，给出的命令是

错误是

语法异常：第 1:33 行缺少 ' (' at' '

任何人请帮助我解决这个问题如何解决？

我正在尝试从在 IBM Analytics Engine 上运行的 Spark 2.3 连接到在 IBM Cloud 上运行的 ScyllaDB 数据库。

我正在像这样启动火花壳......

然后执行以下 spark scala 代码：

但是，我看到一堆警告：

但是，在警告中的堆栈跟踪之后，我看到了我期望的输出：

如果我导航到撰写 UI，我会看到一个地图 json：

似乎警告与地图文件有关。

警告的含义是什么？我可以忽略它吗？

注意：我看到了一个类似的问题，但是我相信这个问题是不同的，因为地图文件和我无法控制 Compose 如何设置 scylladb 集群。

我正在尝试截断 scylla 中的一个表，它是一个三节点集群。但立即数据正在加载，有时截断工作正常，这意味着我可以使用以下命令删除数据而不是表模式，但有时数据正在加载。

我试图探索 scylla 和 Cassandra 文档，他们提到了一些事情，因为墓碑过滤器发生了这种幽灵复制，但我的集群墓碑宽限期是默认的。所以它应该在墓碑过期之前删除数据。任何人都请帮助我为什么会发生这种情况以及不发生这种情况的解决方案是什么。

Query.Release()幕后做什么？这意味着“将查询返回池”是什么意思？什么时候Query.Get()应该用，什么时候用Query.GetRelease()？

我正在尝试使用 Astyanax 驱动程序列出 Cassandra 中的列族。它列出了正确的键空间，但输出中缺少许多列族。

我有一个简单的程序：

它可以列出键空间，但缺少许多列族。这是输出。可以看到，很多默认的keyspace都存在，但是很多列族都缺失了。

我可以使用 cqlsh 来确认列族确实存在

上面的输出使用的是 cassandra 2.2，但我已经确认了其他版本的 cassandra 和 scylla 中的行为。