问题标签 [dsbulk]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
48 浏览

cassandra - 将 DataStax DSE sstable 转换为 csv / 大表导出

是否有支持将快照 sstables 转换为 csv 的方法?sstables 取自 DSE 6.8 快照。

我们有一个巨大的表 - 14 个节点集群上的 40TB 数据,需要以原子方式将其导出到 csv。那应该是一个时间点的出口。

使用 dsbulk 不是一种选择:

  • 导出 40TB 数据需要很长时间

  • 出口不一致。我们需要一个时间点导出 - 我们需要与导出开始时完全相同的数据。

我们想使用https://github.com/jberragan/spark-cassandra-bulkreader之类的东西来读取快照文件,但它不适用于 DSE 6.8 'bti' SSTables。

任何建议如何做到这一点?

0 投票
1 回答
170 浏览

cassandra - 使用 DSBulk 进行备份/恢复需要太长时间

我使用 dsbulk 对 cassandra 集群进行基于文本的备份和恢复。我创建了一个 python 脚本,它使用 dsbulk 加载/卸载备份/恢复 cassandra 集群中的所有表,但由于为每个表创建了新会话(大约 7 秒),即使数据较少也需要很长时间,在我的情况下,我有 70表,因此由于会话创建而添加了 70*7s。有没有办法使用 dsbulk 使用单个会话从集群中的所有表中备份数据?从文档中,我看到 dsbulk 一次仅适用于单个表加载/卸载。有什么替代方法或其他方法吗?如果有请建议..!

谢谢..

0 投票
1 回答
31 浏览

cassandra - 用于 DSBULK 将数据加载到 Cassandra 的 driver.conf 的位置

我正在使用如下配置文件使用 DSBULK 在 Cassandra 中加载数据

我使用上述配置编写了一个 python 程序来执行 DSBULK。我注意到我需要将 dsbulk.conf 保存在 DSBULK conf 文件夹中才能使程序正常工作。如何为 driver.conf 文件指定不同的位置?

0 投票
0 回答
8 浏览

cassandra - 在 Cassandra 的 DSBULK 命令中包含类路径

我对此感到头疼。我可以在我的配置文件中指定 include classpath("driver.conf") 并从我的笔记本电脑中的 python 程序运行 dsbulk 命令。但是当我从 Azure 中创建的 VM 运行它时,它无法读取 driver.conf。如果我将 driver.conf 的内容放在主配置文件中,它就可以工作。

我的应用程序.conf

我正在运行 dsbulk 如下

dsbulk -u 用户 -p 密码 -f my-application.conf

0 投票
1 回答
39 浏览

cassandra - 运行 DSBULK 加载时出现堆内存问题

我在一个文件夹中卸载了 100 多个 CSV 文件。当我尝试使用 DSBULK 加载并将这些文件加载​​到 cassandra 并指定所有这些文件的文件夹位置时,出现以下错误

我想看看其他人是否遇到过它以及它是如何解决的。

0 投票
0 回答
41 浏览

cassandra - DSBULK 显示授权错误,但加载完成且没有任何失败错误

我正在执行 DSBULK,它实际上运行并完成。在输出中我没有看到任何失败的记录,但我看到了以下错误消息。这是因为 permissions_validity_in_ms 设置为 2000 ms。应该增加吗?