问题标签 [datastax-startup]

使用 DSE 4.8.7，我们能够将大约 1,000 条记录/秒插入到由 Solr 索引的 cassandra 表中。吞吐量在一段时间内（可能需要 30-60 分钟）还不错，直到 2-3 个节点（在 5 节点集群中）开始在日志中显示这些消息：

此时，插入吞吐量下降到 2-10 条记录/秒。重启节点即可解决问题。集群中所有节点的操作系统负载和 IO 都很低。此外，查看 nodetool 统计信息时没有待处理的任务。

这个问题几乎是逐字逐句的问题，我是故意这样做的，因为（a）这似乎仍然是一个问题，并且（b）我无法对这个问题发表评论。

我们有两个复制因子为 3 的表。我们将相同的数据批量写入两个表。我们用 LOCAL_QUORUM 写。

当我们使用 LOCAL_ONE 读取数据时，我们会得到几个月前写入的数据的不同结果。如果我们使用 LOCAL_QUORUM 阅读就可以了。

据我了解，最终一致意味着在最后几秒钟写入的数据可能不一致......但不是超过几个月的数据。

今天将我们的一个开发节点从 DSE 4.8.0 升级到 4.8.7，现在我在 system.log 中看到大量此类错误。关于为什么会发生这种情况以及如何解决的任何见解？

WARN [main_development.skus Index WorkPool scheduler thread-0] 2016-05-18 13:51:11,037 WorkPool.java:672 - Listener com.datastax.bdp.search.solr.AbstractSolrSecondaryIndex$SSIIndexPoolListener@1d132e91 failed for pool main_development.skus Index with exception: SolrCore 'main_development.skus' is not available due to init failure: Unique key fields must not be tokenized. Problematic type: text_en_splitting_tight{class=org.apache.solr.schema.TextField,analyzer=org.apache.solr.analysis.TokenizerChain,args={autoGeneratePhraseQueries=true, positionIncrementGap=100, class=solr.TextField}} for field: sku org.apache.solr.common.SolrException: SolrCore 'main_development.skus' is not available due to init failure: Unique key fields must not be tokenized. Problematic type: text_en_splitting_tight{class=org.apache.solr.schema.TextField,analyzer=org.apache.solr.analysis.TokenizerChain,args={autoGeneratePhraseQueries=true, positionIncrementGap=100, class=solr.TextField}} for field: sku at org.apache.solr.core.CoreContainer.getCore(CoreContainer.java:742) ~[solr-uber-with-auth_2.0-4.10.3.1.1021.jar:na] at com.datastax.bdp.search.solr.core.CassandraCoreContainer.getCore(CassandraCoreContainer.java:170) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.search.solr.AbstractSolrSecondaryIndex.getCore(AbstractSolrSecondaryIndex.java:550) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.search.solr.AbstractSolrSecondaryIndex$SSIIndexPoolListener.onBackPressure(AbstractSolrSecondaryIndex.java:1461) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.concurrent.WorkPool.onBackPressure(WorkPool.java:668) [dse-core-4.8.7.jar:4.8.7] at com.datastax.bdp.concurrent.WorkPool.access$300(WorkPool.java:57) [dse-core-4.8.7.jar:4.8.7] at com.datastax.bdp.concurrent.WorkPool$BackPressureTask.run(WorkPool.java:694) [dse-core-4.8.7.jar:4.8.7] at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [na:1.8.0_92] at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308) [na:1.8.0_92] at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180) [na:1.8.0_92] at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294) [na:1.8.0_92] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [na:1.8.0_92] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [na:1.8.0_92] at java.lang.Thread.run(Thread.java:745) [na:1.8.0_92] Caused by: org.apache.solr.common.SolrException: Unique key fields must not be tokenized. Problematic type: text_en_splitting_tight{class=org.apache.solr.schema.TextField,analyzer=org.apache.solr.analysis.TokenizerChain,args={autoGeneratePhraseQueries=true, positionIncrementGap=100, class=solr.TextField}} for field: sku at com.datastax.bdp.search.solr.core.CassandraCoreContainer.load(CassandraCoreContainer.java:236) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.search.solr.core.SolrCoreResourceManager.loadCore(SolrCoreResourceManager.java:257) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.search.solr.AbstractSolrSecondaryIndex$4.run(AbstractSolrSecondaryIndex.java:1011) ~[dse-search-4.8.7.jar:4.8.7] at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [na:1.8.0_92] at java.util.concurrent.FutureTask.run(FutureTask.java:266) [na:1.8.0_92] ... 3 common frames omitted Caused by: com.datastax.bdp.search.solr.CassandraIndexSchema$ValidationException: Unique key fields must not be tokenized. Problematic type: text_en_splitting_tight{class=org.apache.solr.schema.TextField,analyzer=org.apache.solr.analysis.TokenizerChain,args={autoGeneratePhraseQueries=true, positionIncrementGap=100, class=solr.TextField}} for field: sku at com.datastax.bdp.search.solr.CassandraIndexSchema.validateUniqueKey(CassandraIndexSchema.java:479) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.search.solr.CassandraIndexSchema.validate(CassandraIndexSchema.java:123) ~[dse-search-4.8.7.jar:4.8.7] at com.datastax.bdp.search.solr.core.CassandraCoreContainer.load(CassandraCoreContainer.java:232) ~[dse-search-4.8.7.jar:4.8.7] ... 7 common frames omitted

我已经使用以下过程为 PHP 安装了 datastax cassandra 驱动程序扩展：

• 安装依赖：automake cmake gcc gcc-c++ git libtool openssl-devel wget gmp gmp-devel boost php-devel pcre-devel git libuv gmp
• 从源码编译安装cpp-driver
• 从源代码安装 PHP Datastax cassandra 驱动程序
• 在 /etc/php.ini 文件中添加了扩展名

当我尝试执行 php 文件以连接到 cassandra 集群时，出现以下错误：

我尝试使用二进制文件再次安装，但我仍然面临同样的问题。

这是 ldd 输出：

谢谢你的帮助。

Cassandra 日志中出现意外错误，目前还无法追查根本原因。什么组件使用了 Netty，或者这个问题是众所周知的？（找不到任何信息）

从 OpsCenter 中的最佳实践服务收到以下信息，是什么原因？

以下表的分区过大：

fabrikam.data_example_by_minute (177 mb) fabrikam.data_example_by_second (637 mb)

考虑重塑您的数据以分解宽分区。

我们在 Windows Server 2012 上使用 datastax-community-64bit_2.2.6 和 DevCenter-1.4.1-win-x86（在较旧的 Win Server 2008 上使用相同的设置，似乎没有遇到问题）。

我们有一个时间序列表，它的行为非常奇怪，读取不一致。我们有一整天的数据，但是当我们通过代码和 DevCenter 执行查询时，一天中几个小时的数据没有加载，如下面的屏幕截图所示:::

开发中心查找::: https://drive.google.com/file/d/0B_e9YTMgramiSTFqUGFPYVB3bkk

可以看出 - 7-8 小时不能直接加载 - 9-10 小时可以。在使用 >= 和 < 时仅加载 7-8 小时是可能的（顶部选择），这只会让事情变得更加混乱。

在我们的应用程序中，它给出了一天中的很多时间是未知的（带有？的图标） - 因为没有从 Cassandra 加载数据....参见下一个屏幕截图::

应用程序中缺少小时数::: http://drive.google.com/open?id=0B_e9YTMgramiTUxfNTlJYlVwUEU

带有绿色图标的时间与我们能够在 DevCenter 中查询的时间相同（如图 2 中的 9-10 小时） - 而其余时间则不是。使这更加神秘的是，我们为趋势图加载了相同的数据，其中包括所有小时的点。

有没有人经历过这样的事情？？？....似乎总是可以从 Cassandra 中选择几个小时的数据，而另一些则有问题：/ ...当然所有数据都以相同的方式插入！

目前，我们正在评估作为 Cassandra 和 Spark 提供商的 datastax 企业。我们考虑在 AWS 上部署 Datastax 集群。

我有以下问题：

1）在EC2安装手册Datastax的第1步中，我需要选择正确的AMI Image：目前有7个。哪个是正确的：（DataStax Auto-Clustering AMI 2.5.1-pv，DataStax Auto-Clustering AMI 2.6.3-1204-pv，DataStax Auto-Clustering AMI 2.6.3-1404-pv....）

2) 在我们启动集群的那一刻，我们是只为 aws 实例支付还是 Datastax Enterprise 许可费？我知道有 30 天的企业免费试用，但在安装过程中我没有看到我们可以要求免费试用的步骤？是否有一些在线计算器可用于每月计算集群成本（基于我们创建的实例类型）

3) 在安装过程的第 3 步Configure Instance Details中，我对术语instance和nodes感到困惑。它们之间有什么区别？如果我选择会发生什么：

a) 1 个实例，--totalnodes 3（在用户数据中）

b) 3 个实例，--tatalnodes 3

c) 1 个实例，--totalnodes 0 --analyticsnodes 3

d) 3 个实例，--totalnodes 0 --analyticsnodes 3

4）我们对我们的 3 个 cassandra 节点中的每个节点都有 Spark 的用例感兴趣。是否正确的用户数据配置： --totalnodes 0 --analyticsnodes 3 那么我们是否会有 0 个节点只有 cassandra，3 个节点有 Cassandra 和 Spark？那么我们应该指定的实例数是多少？

5) 在安装过程的第 4 步Add Storage中，我们被要求为实例添加存储。但是为什么我们需要这个存储呢？在选择实例类型时，例如m3.large，我已经知道我的实例有 32GB 的 SSD 存储，那这是什么？

谢谢您的回答。如果有一些电子邮件列表可以发送这些问题，我将不胜感激。

我们想在我们的应用程序中使用来自 Datastax 的 DSE 搜索。我们在所有节点上都有 Cassandra，在一半节点上有 SOLR。

我们可以连接到一个 SOLR 实例

我们想连接到 SOLR 以便进行负载平衡和故障转移，类似于连接到 SOLR Cloud ：

使用 DSE 搜索可以实现这样的事情吗？

我们正在为我们的社交网络使用 Datastax Cassandra，我们正在设计/数据建模我们需要的表格，这让我们感到困惑，我们不知道如何设计一些表格，而且我们遇到了一些小问题！

正如我们对每个查询的理解，我们必须有不同的表，例如用户 A 关注用户 C 和 B。

现在，在 Cassandra 中，我们有一个表posts_by_user：

我们有一个根据用户关注者的表，我们将帖子的信息插入到表中，称为user_timeline当关注者用户访问第一个网页时，我们从user_timeline表中从数据库中获取帖子。

这是user_timeline表格：

首先，该数据建模对于关注基础（关注者、关注者）社交网络是否正确？

现在我们要计算一个帖子的点赞数，如您所见，我们在两个表( user_timeline, posts_by_user)中都有点赞数，并假设一个用户有 1000 个关注者，然后通过每个点赞操作，我们必须更新所有 1000 行user_timeline和 1 行posts_by_users; 这不合逻辑！

然后，我的第二个问题是应该如何？我的意思是（最喜欢的）表应该如何？