问题标签 [datastax-startup]

我有 6 个节点，1 个 Solr，5 个 Spark 节点，使用 datastax。我的集群位于与 Amazon EC2 类似的服务器上，具有 EBS 卷。每个节点有3个EBS卷，使用LVM组成一个逻辑数据盘。在我的 OPS 中心，同一节点经常变得无响应，这导致我的数据系统连接超时。我的数据量约为 400GB，有 3 个副本。我有 20 个流作业，每分钟有批处理间隔。这是我的错误信息：

编辑：

这些是我更具体的配置。我想知道我是否做错了什么，如果是，我怎样才能详细了解它是什么以及如何解决它？

出堆设置为

当前堆：

堆配置：

堆使用：

我不知道为什么会这样。非常感谢。

我的 xml 文件中有数据。我需要将该数据保存在 datastax 图中。但没有找到任何将 xml 导入 dse 图的链接。我已阅读有关 GraphML 的信息。如果可以，GraphML 可以做到这一点，请告诉我怎么做？

在我的 DSE spark 节点中，我的系统日志经常告诉我：

我不确定这意味着什么。这是我的防火墙的问题吗？如果是，如何选择端口范围？我不知道端口范围是什么。

谢谢你的帮助。

我的 Cassandra 线程之一占用了我 100% 的 CPU。我不知道这个线程做了什么，也不知道它为什么会满负荷运行？我应该给它更多资源还是减少数据大小等？您可以在线程 ID 14809 中看到这一点。

我附上了我的 Htop 输出。

谢谢你的帮助。

编辑：

我重新启动了服务器，所以上面的线程 ID 可能与下面的线程堆栈不同，但线程是相同的。这是我相关的线程堆栈：

我的 datastax 集群 nodetool ring 显示重复的令牌（8814750030873335965），其中一个有一个空地址。我不知道为什么或如何解决这个问题。

请看下面的结果：

谢谢你的帮助。

尝试在 OpsCenter 中安装节点时，出现此错误：

使用堆栈跟踪：

com.jcraft.jsch.ChannelSftp.start(ChannelSftp.java:315) com.jcraft.jsch.Channel.connect(Channel.java:152) com.jcraft.jsch.Channel.connect(Channel.java:145) clj_ssh。 ssh$connect_channel.invoke(ssh.clj:512) clj_ssh.ssh$ssh_sftp.invoke(ssh.clj:732) lcm.jobs.multinode.common$run_command.invoke(common.clj:707) lcm.jobs.multinode。 install.InstallJob.run(install.clj:310) lcm.jobs.multinode.common$run_job.invoke(common.clj:72) lcm.jobs.multinode.common$process_run__18006$fn__18007.invoke(common.clj:90) clojure.core.async$thread_call$fn__8944.invoke(async.clj:434) clojure.lang.AFn.run(AFn.java:22) java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) java。 util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) java.lang.Thread.run(Thread.java:745)

我已经启动了一个基于 的 EC2 DataStax Auto-Clustering AMI 2.5.1-pv，我预计事情会顺利进行，但它没有..

任何想法？

注意：我做了一些重新格式化并添加了一些附加信息。

请看一下这个：Question_Answer

我想问 - 对于 DSE 5.0 以及今年在 C* 峰会上提到的 5.1 和 5.2 即将发生的变化，相同的建议是否有用？

我们的用例是：

该平台必须始终可用。(Cassandra)
数据必须是可搜索的。(SOLR / Lucene)
平台必须提供分析 / 数据仓库 / BI 等 (Graph / Spark)

多亏了 DSE，所有这些都可以在单一产品中实现！谢谢DataStax！

但是我们存储的数据量和交易数量非常少。
我们的规范是针对应用程序中的 100 个并发会话——当然，这甚至不能转化为 100 个并发 DB 请求/操作。

在大多数情况下，我们的应用程序类似于日常企业 CRUD 应用程序。

虽然并不荒谬，但 AWS 实例并不是完全免费的。
为每个工作负载拥有一个单独的集群（具有足够的复制以实现持续可用性）对我们来说将是一个成本问题。

虽然我理解，概念证明可以提供一些帮助——但没有真正的工作负载/真正的用户——通过服务/应用程序——只有“生产”系统和流氓用户才能真正提供洞察力。你能做的最好的就是“加载”功能测试。

简而言之，从平台的角度来看，我们有点卡在这里。

最初，我们考虑拥有：

2 个用于地理隔离的数据中心
每个 DC
2 个机架 每个 Rack
RF 2 个节点 3
CL of local_quorum

如果我们发现遇到性能问题，我们可以横向扩展 - 添加一个额外的机架或最初的 2 个机架的额外节点。

至于 V 节点或令牌数量，我们不知道。

DSE 搜索的文档说 V-nodes 增加了 30% 的开销，所以听起来你不应该使用 V-nodes，但是在文档中的一个表中它还说使用 16 或 32。它怎么可能两者兼而有之？

如果我们可以在单个节点上成功运行所有工作负载（我们的要求真的很低），我们是使用 V 节点（16 或 32）运行还是运行单个令牌？

最后，还有其他选择吗？
您可以在同一个数据中心拥有具有不同工作负载的节点吗？单个节点在哪里设置了特定工作负载的 RAM / CPU 要求？

假设我们每个数据中心有 4 个节点（仅作为起点 - 我们不知道您是否可以在单个节点上成功运行 Search / 或在单个节点上运行 Spark）

节点 1：仅 Cassandra
节点 2：Cassandra 和 Search
节点 3：Cassandra 和 Graph
节点 4：Cassandra 和 Spark

如果 Search 需要 64GB RAM - 就这样吧……但只有 Cassandra 的节点可以使用 8 或 16个。

所以我们可以满足每个工作负载类型的 CPU 和内存方面 - 但仍然只有一个 DC。（我们将有 2 个用于冗余 - 但实际上它是单个 DC 安装：镜像）

提前感谢您的帮助。

昨天，我在我们的集群中发现了一个损坏的二级索引。（DSE 4.8.10，c* 2.1.15）。我使用 SELECT 语句验证了数据是否在表中。使用后nodetool rebuild_index cf tn idx_name，我能够使用得到正确的查询结果select * from <table_name> where <pk> = 'x' and <idx_key> = 'y';

我的问题是 - 有没有办法检测、监控或以其他方式主动寻找可能的二级索引损坏？我真的很讨厌在生产中出现损坏且未被检测到的二级索引。

我有一个独立的火花作业，每次作业完成时，都会出现以下警告：我不太明白这个的含义以及如何解决这个问题。如果你能帮忙就太好了。谢谢

我尝试使用创建新集群，OpsCenter 5.2.4但出现此错误：

在 OpsCenter 的日志中，/var/log/opscenter/opscenterd.log我收到了这个错误：

任何想法？