问题标签 [cascading]

Suppose I am having three dropdownlist controls named dd1, dd2 and dd3. The value of each dropdownlist comes from database. dd3's value depends upon value of dd2 and dd2's value depends on value of dd1. Can anyone tell me how do I call servlet for this problem?

基本上，我需要将数据路由到正确的 Reducer。每个 Reducer 都将成为一个 TableReducer。

我有以下文件

venodor1, user1, xxxx=n venodor1, user1, xxxx=n venodor2, user2, xxxx=n venodor2, user2, xxxx=n

我需要将其插入以下 hbase 表中

表 vendor1: [user1] => {data:xxxx = n} [user2] => {data:xxxx = n}

表 vendor2: [user1] => {data:xxxx = n} [user2] => {data:xxxx = n}

格式为 [ROW_ID] => {[FAMILY]:[COLUMN] = [VALUE]}

• 每个供应商都有不同的 hbase 表
• 行需要根据行中的值转到不同的 hbase 表。

有没有办法做到这一点 ？与级联？还有其他解决方法吗？

谢谢，费德里科

我一直在尝试级联，但我看不出比经典的 map reduce 写作业有任何优势。

Map Reduce 工作给了我更多的自由，而 Cascading 似乎设置了很多障碍。

可能会使简单的事情变得简单，但复杂的事情会做得很好。我发现它们非常困难

有什么我想念的吗。与经典方法相比，Cascading 有明显的优势吗？

在什么情况下我应该选择级联而不是经典方法？有人用过并且开心吗？

我正在使用 map reduce 和 HBase 开发一个项目。我们正在使用 Cloudera 的 CDH3 发行版，其中捆绑了 hbase-0.89.20100924+28。我想使用级联，因为我们有一些需要多个 map reduce 作业的处理，但是我一直在寻找 HBase 适配器的不同分支以在 github 上进行级联，似乎找不到我们的 HBase 版本。有人能指出我正确的方向吗？

换句话说，

是否存在可以通过直接定义 map reduce 作业来解决的问题，但您无法形成 Hive QL 查询？

如果是，则意味着 Hive QL 的表达能力有限，无法表达所有可能的 map reduce 作业。

实际上，这意味着 Hive QL 不能完全替代定义您自己的 Map Reduce 作业。

我正在处理大量包含与 nasa 的 MODIS 网格相对应的数据矩阵的大文件——该网格将地球表面分割成一个 21,600 x 43,200 像素的阵列。这个特定的数据集为每个像素提供一个整数值。

我有大约 200 个文件，每个月一个文件，需要为每个像素创建一个时间序列。

我的问题是，对于需要其中一个文件的地图任务——我应该将网格切割成例如 24,000 个像素的块，并将它们作为值（以位置和时间段作为键）发出，还是简单地发出一个每个像素的键值对，将像素视为规范字数示例中的单词？

分块可以正常工作，它只是在我的程序中引入了一个任意的“块大小”变量。我的感觉是这样会在IO上节省不少时间，但只是感觉，期待实际知情的意见！

我有以下问题，我试图通过级联解决：我有记录的 csv 文件，其结构为：o、a、f、i、c

我需要按 o、a、f 汇总记录，并将每组的 i 和 c 相加。

例如：

100,200,300,5,1

100,200,300,6,2

101,201,301,20,5

101,201,301,21,6

应该产生：

100,200,300,11,3

101,201,301,41,11

我不明白如何合并我拥有的 2 Every 实例（我可以同时聚合两个字段吗？）。

你有什么主意吗？

约西

}

我正在尝试使用 Oozie 运行级联作业。我得到一个 java.lang.ClassNotFoundException: cascading.tap.hadoop.MultiInputSplit

我在工作流库中包含级联 jar，但在级联启动 m/r 作业时不包含它。

有人在使用 Cascading 和 Oozie 吗？

我最近发现了很多选择，并且主要通过成熟度和稳定性进行比较。

1. 紧缩 - https://github.com/cloudera/crunch
2. Scrunch - https://github.com/cloudera/crunch/tree/master/scrunch
3. 级联 - http://www.cascading.org/
4. 烫伤 https://github.com/twitter/scalding
5. FlumeJava
6. 史酷比 - https://github.com/NICTA/scoobi/

我无法让 Hadoop 和Cascading 1.2.6 向我显示应该来自使用调试过滤器的输出。级联指南说这是查看当前元组的方式。我正在使用它来尝试查看任何调试输出：

我对 Hadoop 和 Cascading 还很陌生，但可能我没有找到正确的位置，或者我缺少一些简单的 log4j 设置（我没有对使用 Cloudera 获得的默认值进行任何更改hadoop-0.20.2-cdh3u3。

这是我正在使用的 WordCount 示例类（从级联用户指南复制），其中添加了 Debug 语句：

它工作正常，我只是在任何地方都找不到任何调试语句来显示这些单词。我已经查看了 HDFS 文件系统hadoop dfs -ls以及jobtracker web ui。jobtracker 中映射器的日志输出没有任何 STDOUT 输出：

最后，我还要写出 DOT 文件，该文件中没有我期望的 Debug 语句（尽管这些可能已被删除）：

是否有一些我丢失的日志文件，或者它是我需要设置的配置设置？