在使用 Pig 进行 ETL 时,我使用 HCatStorer 将处理后的数据放入 Hive:
STORE dataprocessed INTO 'database.table' USING org.apache.hcatalog.pig.HCatStorer();
我的目标是使目标表的数据可以从 Pig 或 Hive 中使用(取决于用户的技能)
存储日期时间的推荐格式是什么?
我关心:
- 存储时区信息
- 能够比较日期
- 人类可读(例如,我不相信时间戳是人类可读的)
谢谢您的帮助
在使用 Pig 进行 ETL 时,我使用 HCatStorer 将处理后的数据放入 Hive:
STORE dataprocessed INTO 'database.table' USING org.apache.hcatalog.pig.HCatStorer();
我的目标是使目标表的数据可以从 Pig 或 Hive 中使用(取决于用户的技能)
存储日期时间的推荐格式是什么?
我关心:
谢谢您的帮助
我可能会将日期/时间相关信息存储为 ISO-8601 格式的字符串/字符数组,因为 HCatStorer 不直接支持日期类型(至少在猪中)。
pig中有转换日期/时间信息的功能:http: //pig.apache.org/docs/r0.13.0/func.html#datetime-functions