问题标签 [spark-repl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
82 浏览

scala - spark repl 内部类的“类型不匹配”

我在 spark 程序中定义了一些 trait 和 class,打包到 jar 中时效果很好,但是如果在 spark repl 中执行,它将失败。

然后我运行代码:

它错误:

0 投票
0 回答
29 浏览

apache-spark - 等于函数不适用于火花中的自定义对象

我在 Spark repl 中遇到了序列化问题。

我有以下代码片段:

如果我创建两个实例,一个 (foo) 在工作人员上,一个 (bar) 在驱动程序上:

然后foo != bar(并喷出“不同对象的比较”)-然而

  • foo.getClass == bar.getClass
  • foo.a == bar.a, 和
  • foo.b == bar.b

谁能解释为什么会这样?

0 投票
0 回答
73 浏览

r - 在 SparkR 中使用 Logging 库:没有将此 S4 类强制为向量的方法

我最近开始使用 SparkR,并希望在运行 sql 查询、执行连接、将数据移动到 csv 等时使用它进行日志记录。我能够运行 sql 查询并将来自 oracle 和 hive 表的数据输入到 SparkR 数据帧中,但它不允许运行 loginfo("%s",emp_df)。(下面出现 S4 错误):

as.character.default() 中的错误:没有将此 S4 类强制为向量的方法

下面是用于读取日志库的代码。图书馆(记录)

使用文件处理程序创建日志文件

我浏览了日志记录文档,发现“addHandler 和 removeHandler 也作为 Logger S4 类的方法提供。在这种情况下,没有记录器参数”但是没有得到太多帮助....谁能告诉我如何克服这个..提前感谢帮助

0 投票
0 回答
26 浏览

apache-spark-sql - Spark 单机版 v 2.3.2 测试失败

我已经使用采用 jdk 1.8 在大端平台上构建了 spark v 2.3.2 构建成功,我们在以下模块中遇到测试用例失败。我想要一些与这个失败的测试相关的信息,关于这个失败对火花功能的影响有多严重的信息

测试模块严重性(1. 必须修复,2. 不必须修复)

不安全

星火项目 SQL

星火项目蜂巢

Spark 项目复制

如果您可以通过将上面显示的严重性数字与相应的失败测试模块相关联来解决我们的问题,我们将很高兴