问题标签 [cascading]

级联新手，试图找到一种基于排序/顺序获取前 N 个元组的方法。例如，我想知道人们使用的前 100 个名字。

这是我可以在 teradata sql 中做的类似操作：

hadoop pig 也有类似的情况

在 SQL 或 Pig 中似乎很容易做到，但很难尝试在级联中找到一种方法。请指教！

我有一个数据库表的两个版本（旧/新），大约有 100,000,000 条记录。它们在文件中：

结构是：

id 是简单的主键，其他字段是非键。我想生成三个文件：

我需要每天在一个短批处理窗口中执行此操作。实际上，我需要为多个表和多个模式（为每个模式生成三个文件）执行此操作，因此实际的应用程序涉及更多。但我认为这个例子抓住了问题的症结所在。

这感觉像是一个明显的 mapreduce 应用程序。从未编写过 mapreduce 应用程序，我的问题是：

1. 是否有一些 EMR 应用程序已经这样做了？
2. 是否存在明显的 Pig 或 Cascading 解决方案？
3. 还有其他一些非常接近于此的开源示例吗？

PS 我看到了表格问题之间的差异，但那里的解决方案看起来没有可扩展性。

PPS 这是一个演示算法的小 Ruby 玩具：Ruby dbdiff

我正在尝试制作 4 个依赖/级联选择组件。在这个问题中，选择组件恰好是 a <h:selectOneMenu>，但这当然适用于从UISelectOne/UISelectMany超类扩展的任何其他类型的选择组件，例如<h:selectManyCheckbox>或 PrimeFaces<p:selectCheckboxMenu>等<p:selectManyMenu>。

当用户从第一个菜单中选择一个项目时，第二个菜单将显示依赖数据，当用户从第二个菜单中选择项目时，第三个菜单将显示依赖数据，依此类推。

用户只会在第一个菜单上看到项目，而其他项目将是空白的。如果他在第一个菜单上选择一个项目，第二个将显示数据，但第三个和第四个将保持空白，依此类推。用户最终必须从所有 4 个菜单中选择条目。

节点豆

它仅适用于前 2 个菜单。其他 2 个菜单获取null值。

我需要有关 ajax 级联下拉列表的帮助，这些下拉列表在我的本地计算机上运行良好，但是当我将它部署到服务器上时，所有下拉列表都是空的，没有任何错误消息！谁能帮帮我吗？我的代码是：`

开始在 Amazon EMR 上使用 Cascading，已经设法让它运行，但遇到了一个相当简单的障碍，我希望有人能对此有所了解。

我的代码：

我的输入（没有空行）：

1:2

2:4

5:1

3:9

我的输出：

reg ex 可以在http://regexpal.com/

非常感谢

邓肯

我正在尝试将一些 Java 代码移植到 Clojure，但遇到了无法解决的情况。

通常，当您想调用带有可变长度参数的 Java 构造函数或方法时，您可以执行以下操作

但是，我发现了一个不起作用的特殊示例：

尽管这在 Java 中似乎可行（见下文），但上面的代码给出了以下错误：

我尝试了几种变体，但似乎没有任何效果。我尝试移植的 Java 代码（以及出现问题的特定行）在这里https://github.com/Cascading/pattern/blob/wip-1.0/pattern-examples/src/main/java/cascading/pattern/ Main.java#L76

（Fields 的构造函数签名是 Fields(Comparable... fields) http://docs.cascading.org/cascading/2.1/javadoc/cascading/tuple/Fields.html#Fields(java.lang.Comparable...)

我在 Clojure repl 中尝试了以下示例：

我正在分析具有各种域名的日志文件。我想从输出报告中排除/忽略任何包含“macys”一词的域。这是一个示例输出：

如果我看不到任何带有“macys”一词的域，我想拥有和输出文件。

我得到了一个多步骤级联程序，它的运行时间大约是同等 M/R 作业运行时间的十倍。如何确定哪些步骤运行最慢，以便我可以针对它进行优化？

我正在使用 Cascading 分析具有各种域名的日志文件。以下是过滤后的输出报告示例：

www.google.nl 3

www.google.it 3

www.google.com.co 3

www.google.com.hk 3

www.google.co.jp 3

我想将所有具有“google”的域组合或组合为 1 行。对于所有 google 域，输出报告将只有 1 行。像这样的东西：

www.google.com 15

或者

谷歌 15

你认为这可能吗？有任何想法吗？

我目前正在开发一个使用 JDK1.7 编译的项目，使用 Cascading 1.2（即将升级到 2.1）创建和运行 Hadoop 作业，并使用 Hadoop 的 Cloudera 发行版（0.20.2-cdh3u3）。

我正在研究如何修改我的 Cascading/Hadoop 作业以从 MySQL db 读取和写入所有数据。看起来 SQOOP 可能能够处理这个问题。

但是，到目前为止，我所看到的关于如何在 Java 中执行此操作的信息或文档很少（我知道 SQOOP 主要应该用于从 shell 中调用的批处理作业）——我遵循的 Java 示例没有t 为我工作。我曾尝试使用 SQOOP 1.4 并将我的项目切换为使用 JDK1.6，因为我认为这是必需的，（尽管它会破坏我项目的其他部分）但我仍然无法让它工作。

有谁知道我想要实现的目标是否可能？其他人如何处理这个问题？SQOOP2 的发布会有帮助吗？

当我尝试运行 org.apache.sqoop.tool.ExportTool 以将 CSV 导出到表时，我看到的错误类型是：

由于（很可能）类加载器问题而无法初始化 javac 处理器：java.lang.NoClassDefFoundError: com/sun/tools/javac/processing/JavacProcessingEnvironment

注意：\tmp\sqoop-my.name\compile\9031edc8e43167c10f9f895b64aa79d5\MyTableName.java 使用或覆盖已弃用的 API。

运行导出作业时遇到 IOException：java.io.IOException: 无法将 jar \tmp\sqoop-my.name\compile\9031edc8e43167c10f9f895b64aa79d5\MyTableName.jar 加载到 JVM 中。（找不到类 MyTableName。）