apache-spark - Spark 错误消息：请考虑基于查询模式而不是使用 ALLOW FILTERING 的新数据模型

Question

我的 DSE Opscenter 向我发送此消息：

请考虑基于查询模式的新数据模型，而不是使用 ALLOW FILTERING。

在更改我的 spark 代码后，我已经从查询中删除了下面的列值。但是下面的错误信息仍然不断弹出。我不知道为什么？此外，错误消息仅出现在我的 OPScenter 上的实际表中。谢谢你的帮助。

询问：

select * from dse_perf.node_slow_log

列值/错误信息

SELECT "XXX", "XXX", "XXX", "likes", "XXX" FROM "XXX"."axes" WHERE token("article") > ? AND token("article") <= ?   ALLOW FILTERING

请考虑基于查询模式的新数据模型，而不是使用 ALLOW FILTERING。

Answer 1

Opscenter 警告您，您的请求可能非常昂贵，并建议您查看用例。

如此处所述，“允许过滤”可能非常昂贵：

http://www.datastax.com/dev/blog/allow-filtering-explained-2

您的使用可能属于 OK 类别 - 在这种情况下，您可以忽略警告。如果没有 - 可能值得研究其他建模数据的方法，以便您以更有效的方式对其进行排序。