我有一个处理工作,其中有很多中间“事物”,它们都相互依赖并最终产生某种输出。
过去我经常使用 gmake 来完成这样的任务。
问题是这次其中一些“东西”不是本地文件系统上的文件/目录。事实上,它们是 hadoop 文件系统上的文件和 hbase/mysql 中的表。
到目前为止,我还没有找到一种方法让 gmake 具有特殊的依赖项或目标(例如 hadoop 文件、数据库表等)。
我想出的唯一一件事是编写一个脚本,将 hadoop/database/... 中的状态“镜像”到本地磁盘上的(空)文件。然后让 gmake 查看这些文件。
这种任务的首选解决方案是什么?
- 使用镜像技巧。
- 以稍微不同的方式使用 gmake?
- 使用支持此功能的其他工具?
- ...