问题标签 [scalding]

在 OSX 上安装 java 后，scala scalding 尝试运行 WordCountJob 文件时出现以下错误

编译 WordCountJob.scala scalac -classpath /Users/me/.sbt/boot/scala-2.9.3/lib/scala-library.jar:/Drive/me/Coding/scalding/scalding-core/target/scala-2.9。 3/scalding-core-assembly-0.9.1.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/hadoop-core-1.1.2.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/ commons-codec-1.8.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/commons-configuration-1.9.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/jackson-asl-0.9.5。 jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/jackson-mapper-asl-1.9.13.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/commons-lang-2.6.jar:/var /folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/slf4j-log4j12-1.6.6.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/log4j-1.2.15.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/commons-httpclient-3.1.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/commons-cli-1.2.jar:/var/folders/5007fth90f7v65djmx856 /T/maven/commons-logging-1.1.1.jar:/var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/maven/zookeeper-3.3.4.jar -d /var/folders/5q/7bth9vvd2tv8q57f737f6jxm0000gn/T/script-在线程“main”中构建 WordCountJob.scala 异常 java.lang.NoClassDefFoundError: scala/tools/nsc/Main 原因：java.lang.ClassNotFoundException: scala.tools.nsc.Main at java.net.URLClassLoader$1.run(URLClassLoader .java:202) 在 java.security.AccessController.doPrivileged(Native Method) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:190) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:306) 在 sun。 misc.Launcher$AppClassLoader。loadClass(Launcher.java:301) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:247)

有人知道如何解决这个问题吗？

我使用 Scalding 的默认Csv写入器（指定p要写入的路径的参数，而不是如何写入 CSV 数据的任何其他参数）生成了一个 CSV 文件，我希望将其导入 MySql。我在导入时遇到问题。

加载数据的示例查询：

示例数据（即~/examples.csv）：

当我使用数据文件运行查询时，结果表是（请原谅格式，我无法弄清楚如何在这里很好地制作表格）：

第 3 行格式不正确，如果该字段等于，Scalding 如何输出 CSV "this" is quoted at the start（即，它在字符串的开头有引号，并且不包含字段分隔符，在这种情况下，它看起来像第 4 行）。

有没有办法使用 MySql 中的FIELDS TERMINATED BY,OPTIONALLY ENCLOSED BY​​ , etc 选项让它正确导入字段？

我有一些 JSON 输入需要解析和处理（这是我第一次使用 JSON）。我的输入如下：

我的目标是编写一个烫伤脚本，按位置字段对输入进行分组并输出计数。所以在上面的例子中，“JPN”和“USA”的计数应该是 2。Scalding 提供了一个名为 JsonLine 的类。我的脚本如下：

上面的代码编译正常，但是在运行时会产生如下错误：

基本上，我不确定如何引用 Location 字段。“d.Location”不起作用，按复杂结构“d”进行分组会产生上述错误。我没有找到太多在烫伤中使用 json 进行嵌套输入解析的示例。另外，我不确定嵌套输入是否有比 JsonLine 更好的东西。

我会很感激你的帮助。

谢谢

我是 Scala 和 NoSQL 数据库的新手。我想知道是否存在将我的 Scala 对象映射到 NoSQL 数据库的 ORM 工具，就像 RDBMS 解决方案一样？

我们有许多需要合并的小文件。在 Scalding 中，您可以使用TextLine以文本行的形式读取文件。问题是我们每个文件有 1 个映射器，但我们想组合多个文件，以便它们由 1 个映射器处理。

我知道我们需要将输入格式更改为 的实现CombineFileInputFormat，这可能涉及使用级联CombinedHfs。我们无法弄清楚如何做到这一点，但应该只需要几行代码来定义我们自己的 Scalding 源，例如CombineTextLine.

非常感谢任何可以提供代码的人。

作为一个附带问题，我们有一些在 s3 中的数据，如果给定的解决方案适用于 s3 文件，那就太好了 - 我想这取决于是否CombineFileInputFormat适用CombinedHfs于 s3。

所以人们在压缩 Scalding Jobs 的输出时遇到了问题，包括我自己。谷歌搜索后，我在某个不起眼的论坛上得到了奇怪的答案，但没有适合人们复制和粘贴需求的东西。

我想要一个类似的输出Tsv，但会写入压缩输出。

我正在尝试通过 build.sbt 将 Scalding 2.10 添加为托管依赖项，如下所示：

IntelliJ 下载 jar 并将其添加为外部库（参见下面的屏幕），但无法解析 com.twitter 命名空间。

我已经尝试过使 IntelliJ 缓存无效和生成项目文件，sbt gen-idea但两种解决方案都没有奏效。任何想法将不胜感激。

如何在单个 Map Reduce 作业中使用 Scalding(/cascading) 根据键写入多个输出。我当然可以使用.filter所有可能的键，但这是一个可怕的 hack，它会激发许多工作。

当我的代码尝试调用Checkpoint时，就会发生这种情况。我已经清理并重建了。

我正在尝试从 scala 列表中创建一个元组：

但是elems可能有 1 到 5 个元素，所以很明显我会遇到索引越界异常。

这样做的scala /烫伤方式是什么？我猜正确的方法是迭代从 1 到 5 的范围并从那里生成元组。

null当元素不存在时，我想返回（出于兼容性原因）。