我在我的项目中遇到了 metaSpace 的问题。
我正在使用 Scala IDE,其中 Spark 2.3.1、Play framework 2.6、Scala 2.11
运行sbt run
时,出现元空间错误。
另外,我曾尝试运行sbt clean
.
但它给出了同样的错误:
我在我的项目中遇到了 metaSpace 的问题。
我正在使用 Scala IDE,其中 Spark 2.3.1、Play framework 2.6、Scala 2.11
运行sbt run
时,出现元空间错误。
另外,我曾尝试运行sbt clean
.
但它给出了同样的错误:
将 Spark 2.4.0 及更高版本与 Scala 版本 2.11.11 一起使用,这将有助于修复这些小错误。
构建.sbt
scalaVersion := "2.11.11"
libraryDependencies ++= Seq(
"com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.9.8",
"org.apache.spark" %% "spark-core" % "2.4.0",
"org.apache.spark" %% "spark-repl" % "2.4.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.4.0",
)
然后添加 jackson-module-scala 如果杰克逊版本有错误,将帮助您覆盖库中已弃用的版本。如果仍有错误,请告诉我。
.jvmopts
您可以在项目的根文件夹中添加一个文件,并在文件中写入以下内容:
-Xms1g
-Xmx4g
这会将最大内存分配池设置为 4 GB,将初始内存分配池设置为 1 GB。