0

在使用 Pig 进行 ETL 时,我使用 HCatStorer 将处理后的数据放入 Hive:

STORE dataprocessed INTO 'database.table' USING org.apache.hcatalog.pig.HCatStorer();

我的目标是使目标表的数据可以从 Pig 或 Hive 中使用(取决于用户的技能)

存储日期时间的推荐格式是什么?

我关心:

  • 存储时区信息
  • 能够比较日期
  • 人类可读(例如,我不相信时间戳是人类可读的)

谢谢您的帮助

4

1 回答 1

1

我可能会将日期/时间相关信息存储为 ISO-8601 格式的字符串/字符数组,因为 HCatStorer 不直接支持日期类型(至少在猪中)。

pig中有转换日期/时间信息的功能:http: //pig.apache.org/docs/r0.13.0/func.html#datetime-functions

于 2014-09-30T10:09:19.450 回答