3

我刚刚开始使用 Oozie。希望这里有人可以提供一些有用的建议。

这是 coordinator.xml 的片段

<coordinator-app name="weeklyABCFacts" frequency="${coord:days(7)}"     start="${start}T00:00Z" end="${end}" timezone="CET" xmlns="uri:oozie:coordinator:0.1">
    <controls>
      <timeout>-1</timeout>
      <concurrency>1</concurrency>
      <execution>FIFO</execution>
    </controls>
<datasets>

  <dataset name="weekly-f_stats-flag" frequency="${coord:days(7)}" initial-instance="2013-07-01T00:00Z" timezone="CET">
        <uri-template>${nameNode}/warehouse/hive/f_stats/dt=${YEAR}W${WEEK}    </uri-template>
      </dataset>
    </datasets>
...
</coordinator-app>

我的问题将涉及的部分在标签内。它们通常用以下形式表示："...revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}..."

这部分可以用WEEK表示吗？即下面表格代表中的最后一列。

问题的原因是我们的日期表有一个名为“iso_week”的字段列（例如28，或其对应的日期范围是 2013 年 7 月 8 日 - 7 月 14 日）。它如下所示：

-----------------------------------+
|date_field |iso_week|iso_week_date|
-----------------------------------+
'2013-07-08', '28', '2013W28'
'2013-07-09', '28', '2013W28'
'2013-07-10', '28', '2013W28'
'2013-07-11', '28', '2013W28'
'2013-07-12', '28', '2013W28'
'2013-07-13', '28', '2013W28'
'2013-07-14', '28', '2013W28'

我希望这足够清楚，否则，请让我知道我还能如何更清楚。

4

1 回答 1

2

没有（在我正在查看的 3.3.2 源代码中），但没有什么可以阻止您下载源代码和修改core/java/org/apache/oozie/coord/CoordELEvaluator.java文件，特别是createURIELEvaluator(String)方法：

public static ELEvaluator createURIELEvaluator(String strDate) throws Exception {
    ELEvaluator eval = new ELEvaluator();
    Calendar date = Calendar.getInstance(DateUtils.getOozieProcessingTimeZone());
    // always???
    date.setTime(DateUtils.parseDateOozieTZ(strDate));
    eval.setVariable("YEAR", date.get(Calendar.YEAR));
    eval.setVariable("MONTH", make2Digits(date.get(Calendar.MONTH) + 1));
    eval.setVariable("DAY", make2Digits(date.get(Calendar.DAY_OF_MONTH)));
    eval.setVariable("HOUR", make2Digits(date.get(Calendar.HOUR_OF_DAY)));
    eval.setVariable("MINUTE", make2Digits(date.get(Calendar.MINUTE)));

    // add the following line:
    eval.setVariable("WEEK", make2Digits(date.get(Calendar.WEEK_OF_YEAR)));

    return eval;
}

然后您应该能够按照说明重新编译 oozie

我会注意到你应该厌倦周数和年份并不总是很好地结合在一起 - 例如 2013 年的第 1 周实际上从 2012 年开始：

Tue Dec 25 11:11:52 EST 2012 : 2012 W 52
Wed Dec 26 11:11:52 EST 2012 : 2012 W 52
Thu Dec 27 11:11:52 EST 2012 : 2012 W 52
Fri Dec 28 11:11:52 EST 2012 : 2012 W 52
Sat Dec 29 11:11:52 EST 2012 : 2012 W 52
Sun Dec 30 11:11:52 EST 2012 : 2012 W 1  <= Here's your problem
Mon Dec 31 11:11:52 EST 2012 : 2012 W 1
Tue Jan 01 11:11:52 EST 2013 : 2013 W 1  <= 'Fixed' from here
Wed Jan 02 11:11:52 EST 2013 : 2013 W 1
Thu Jan 03 11:11:52 EST 2013 : 2013 W 1
Fri Jan 04 11:11:52 EST 2013 : 2013 W 1
Sat Jan 05 11:11:52 EST 2013 : 2013 W 1
Sun Jan 06 11:11:52 EST 2013 : 2013 W 2
Mon Jan 07 11:11:52 EST 2013 : 2013 W 2
Tue Jan 08 11:11:52 EST 2013 : 2013 W 2

由以下测试片段生成：

@Test
public void testDates() {
    Calendar cal = Calendar.getInstance(TimeZone.getTimeZone("UTC"));

    cal.set(2012, 11, 25);

    for (int x = 0; x < 15; x++) {
        System.err.println(cal.getTime() + " : " + cal.get(Calendar.YEAR)
                + " W " + cal.get(Calendar.WEEK_OF_YEAR));

        cal.add(Calendar.DAY_OF_YEAR, 1);
    }
}
于 2013-07-06T16:15:15.357 回答