我目前在我的环境中使用 ScyllaDB,并且由于技术原因,正在研究迁移到 Cassandra。我正在尝试使用可能与 ScyllaDB 中当前使用的模式相同的模式使用数据使 cassandra-stress 加载 Cassandra 集群。可悲的是,有一些问题。
环境:
- 在 Ubuntu 18.04 上运行的 ScyllaDB 3.0.7 (= Cassandra 3.0.8)
- 在 Ubuntu 18.04 上运行的 Cassandra 3.11.4
cassandra-tools
在 Ubuntu 18.04 上运行的 cassandra-stress 3.0.18(pkg 的一部分)
过程如下:
- 从 ScyllaDB (
desc keyspace_name
)转储模式 - 准备 cassandra-stress yaml 文件 - 一个键空间,总共五个表
- 运行 cassandra-stress (
cassandra-stress user profile=schema.yml cl=QUORUM duration=30s 'ops(insert=1)' -node 172.19.11.9 -rate threads=1
)
为了确保没有与键空间相关的问题,每次运行 cassandra-stress 都是在一个新的键空间上完成的(我正在增加名称)。
现在,当模式是 1:1 作为从 Scylla 转储的模式时,定义两个表(并且只有这两个表)会导致压力工具失败:com.datastax.driver.core.exceptions.SyntaxError: line 1:35 no viable alternative at input 'WHERE' (UPDATE "activities_bp_action" SET [WHERE]...)
.
表定义如下:
table: activities_bp
table_definition: |
CREATE TABLE activities_bp (
business_profile_id int,
create_date timestamp,
event_uuid uuid,
PRIMARY KEY (business_profile_id, create_date, event_uuid)
) WITH CLUSTERING ORDER BY (create_date DESC, event_uuid ASC)
AND compression = {'sstable_compression': 'org.apache.cassandra.io.compress.DeflateCompressor'}
table: activities_bp_action
table_definition: |
CREATE TABLE activities_bp_action (
business_profile_id int,
action text,
create_date timestamp,
event_uuid uuid,
PRIMARY KEY ((business_profile_id, action), create_date, event_uuid)
) WITH CLUSTERING ORDER BY (create_date DESC, event_uuid ASC)
AND compression = {'sstable_compression': 'org.apache.cassandra.io.compress.DeflateCompressor'}
如果将包含PRIMARY KEY
和的两行CLUSTERING ORDER
替换为以下内容,则 cassandra-stress 运行良好,没有错误,并开始用数据填充集群。但是,现在的定义与 ScyllaDB 的定义有所不同:
PRIMARY KEY (event_uuid, create_date)
) WITH CLUSTERING ORDER BY (create_date DESC)
现在,在使用修改后的定义运行 cassandra-stress 之后,我可以回滚到未修改的定义(曾经失败的那个)。如果在已经存在的键空间上运行,yaml 现在可以正常工作并用数据填充集群。这表明创建表时会出现问题?
在调试模式下运行 cassandra-stress 和 Cassandra 时,我无法找到 cassandra-stress 在其堆栈跟踪中显示的完整查询,并且该查询让我有点困惑。
任何想法为什么会出现问题?谢谢!
编辑:
schema.yml
附件:https : //gist.github.com/schybbkoh/76cdbf19a2bb933419063526ff5ac44f
编辑:
事实证明,“运行良好,没有错误,并开始用数据填充集群”模式创建并仅填充模式中定义的最后一个表。这里有问题。