apache-pig - 在生成语句中格式化日期

Question

在 Pig 中，我有一个声明，它基本上将日期附加到我生成的值中。

Data = FOREACH Input GENERATE (CurrentTime()),FLATTEN(group), COUNT(guid)oas Cnt;

输出给了我2013-05-25T09:01:38.914-04:00ISO8601 中的日期。

我怎样才能做到这一点"YYYY-MM-DD"？

Answer 1

你有几个选择：

用 Pig 函数转换它：
例如：

A = load ...
B = foreach A {
  currTime = CurrentTime();
  year = (chararray)GetYear(currTime);
  month = (chararray)GetMonth(currTime);
  day = (chararray)GetDay(currTime);
  generate CONCAT(CONCAT(CONCAT(year, '-'), CONCAT(month, '-')),day) as myDate;
}

或将日期作为参数传递给脚本：

pig -f script.pig -param CURR_DATE=`date +%Y-%m-%d`

或在脚本中声明它：

%declare CURR_DATE `date +%Y-%m-%d`;

然后引用'$CURR_DATE'脚本中的变量。

您还可以创建一个修改过的 CurrentTime UDF，您可以在其中使用Joda-Time库将 DateTime 对象转换为适当的格式。

最简单的方法是在脚本的开头声明日期。

Answer 2

如果您使用的是 Pig 0.12 或更高版本，则可以使用 ToString(CurrentTime(),'yyyy-MM-dd')

您可以使用任何日期时间类型而不是 CurrentTime()

有关日期时间格式，请参阅http://pig.apache.org/docs/r0.12.0/func.html#to-string。