问题标签 [dsbulk]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
cassandra - 将 DataStax DSE sstable 转换为 csv / 大表导出
是否有支持将快照 sstables 转换为 csv 的方法?sstables 取自 DSE 6.8 快照。
我们有一个巨大的表 - 14 个节点集群上的 40TB 数据,需要以原子方式将其导出到 csv。那应该是一个时间点的出口。
使用 dsbulk 不是一种选择:
导出 40TB 数据需要很长时间
出口不一致。我们需要一个时间点导出 - 我们需要与导出开始时完全相同的数据。
我们想使用https://github.com/jberragan/spark-cassandra-bulkreader之类的东西来读取快照文件,但它不适用于 DSE 6.8 'bti' SSTables。
任何建议如何做到这一点?
cassandra - 使用 DSBulk 进行备份/恢复需要太长时间
我使用 dsbulk 对 cassandra 集群进行基于文本的备份和恢复。我创建了一个 python 脚本,它使用 dsbulk 加载/卸载备份/恢复 cassandra 集群中的所有表,但由于为每个表创建了新会话(大约 7 秒),即使数据较少也需要很长时间,在我的情况下,我有 70表,因此由于会话创建而添加了 70*7s。有没有办法使用 dsbulk 使用单个会话从集群中的所有表中备份数据?从文档中,我看到 dsbulk 一次仅适用于单个表加载/卸载。有什么替代方法或其他方法吗?如果有请建议..!
谢谢..
cassandra - 用于 DSBULK 将数据加载到 Cassandra 的 driver.conf 的位置
我正在使用如下配置文件使用 DSBULK 在 Cassandra 中加载数据
我使用上述配置编写了一个 python 程序来执行 DSBULK。我注意到我需要将 dsbulk.conf 保存在 DSBULK conf 文件夹中才能使程序正常工作。如何为 driver.conf 文件指定不同的位置?
cassandra - 在 Cassandra 的 DSBULK 命令中包含类路径
我对此感到头疼。我可以在我的配置文件中指定 include classpath("driver.conf") 并从我的笔记本电脑中的 python 程序运行 dsbulk 命令。但是当我从 Azure 中创建的 VM 运行它时,它无法读取 driver.conf。如果我将 driver.conf 的内容放在主配置文件中,它就可以工作。
我的应用程序.conf
我正在运行 dsbulk 如下
dsbulk -u 用户 -p 密码 -f my-application.conf
cassandra - 运行 DSBULK 加载时出现堆内存问题
我在一个文件夹中卸载了 100 多个 CSV 文件。当我尝试使用 DSBULK 加载并将这些文件加载到 cassandra 并指定所有这些文件的文件夹位置时,出现以下错误
我想看看其他人是否遇到过它以及它是如何解决的。
cassandra - DSBULK 显示授权错误,但加载完成且没有任何失败错误
我正在执行 DSBULK,它实际上运行并完成。在输出中我没有看到任何失败的记录,但我看到了以下错误消息。这是因为 permissions_validity_in_ms 设置为 2000 ms。应该增加吗?