如何获取groupby对象中的组数koalas？

在 pandas 中我们可以使用ngroups，但是这种方法在 koalas 中还没有实现。

假设groupby对象被调用dfgroup。

任何想法 ？

我是考拉的新手，我很惊讶当我使用方法 sort_index() 和 sort_values() 时，火花分区会自动增加。

例子：

输出：

如果我使用随机列（或索引）进行排序，例如

输出：

为什么会发生这种情况？

我还尝试使用更大的数据集，并且分区增加更多（从 12 到 200）

我想遍历数据框中的组。这在熊猫中是可能的，但是当我将它移植到考拉时，我得到一个错误。

这是错误：

这种群体迭代在考拉中是否可行？考拉文档有点暗示这是可能的 - https://koalas.readthedocs.io/en/latest/reference/groupby.html

我在数据块中使用考拉并试图对数据进行十等分。

因此我用

df['Decile']= ks.qcut(df['Id'], q = 10, labels = False)

我收到 AttributeError：模块 'databricks.koalas' 没有属性 'qcut'

有解决办法吗？

我已经使用 3 验证在 df3 上创建了“Turno”列以分类为“Turno_PM”、“Turno_AM”或“N/A”，但我想知道是否存在达到相同结果的“简单方法”，例如if/elif/else 或类似的“循环”。

这是我使用过的代码。

我无法分配kdf[c].factorize()给kdf[c].

我试过这个，但没有帮助：

任何帮助表示赞赏。

我有一个在 Pandas 中运行良好的代码片段，但是我的数据量很大，而且 Pandas 消耗了大量内存。这就是我尝试基于 PySpark 或 Koalas 的解决方案的地方，因为它们都是基于 Spark 且高度可扩展的。由于我是 Spark 的新手，我不确定如何优化这种规模的正则表达式和替换字符串。

我的代码片段：

编辑 1

在下表中，details是输入，details_trunc是输出

我有一个数据框，其中每一行看起来像这样：

接下来我想做的是抓取“a”和“b”列并创建一个新的数据框，其中每一行都是它们列表中的顺序元素。所以看起来像：

我目前正在使用 pyspark 在 Databricks 笔记本上结合使用考拉和熊猫，并计划在 Spark 集群上运行。任何关于如何实现这一点的建议（牢记性能）都会非常有帮助！

刚接触考拉，尝试做一些非常基本的事情。我只是想计算聚合中列中的唯一值。在熊猫中，我会这样做：

但是例如ks.Series.nunique不起作用，并且“计数”似乎也没有给出正确的答案。

对于如此简单和常见的事情非常令人沮丧，而且令人讨厌的是，我似乎无法在文档中找到它，因为它自称是移植 pandas 来激发火花。

当我在 python 脚本中运行以下代码并直接使用 python 运行它时，我收到以下错误。当我启动 pyspark 会话然后导入考拉时，创建数据框并调用 head() 它运行良好并给了我预期的输出。

是否需要设置 SparkSession 以使考拉工作的特定方式？

在 python 脚本中运行时出错：

版本：考拉：1.7.0 pyspark：版本：3.0.2