scala - scala notebook 无法导入考拉

Question

这似乎很基本，但从我在 databricks 网站上看到的内容来看，我这边没有任何效果

我已经在我的集群上安装了 koalas 包但是当我尝试在我的 Scala 笔记本中导入包时，我遇到了问题。

command-3313152839336470:1: error: not found: value databricks
import databricks.koalas

如果我用 Python 做，一切正常

详细信息集群和笔记本

感谢您的帮助马特

Answer 1

Koalas 是一个 Python 包，它模仿 Pandas（另一个 Python 包）接口。目前没有发布 Scala 版本，即使该项目可能包含一些 Scala 代码。Koalas 的目标是提供 Pandas 的替代品，以利用 Apache Spark 的分布式特性。由于 Pandas 仅在 Python 上可用，我不希望在 Scala 中有直接的端口。

https://github.com/databricks/koalas

对于 Scala，您最好的选择是使用 Spark 的 DataSet 和 DataFrame API： https ://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://databricks .com/blog/2016/01/04/introducing-apache-spark-datasets.html