2

我想创建一个生成文件，其中目标和依赖项不是本地文件，而是存在于某个 AWS/S3 存储桶中。

考虑以下示例，该示例只需将“data_raw”文件复制到“obj1”然后“obj2”（您需要将“bucket”编辑到您拥有的某个存储桶并在运行之前创建一些“data_raw”文件）：

# local, works fine
bucket = /tmp/test/
cp = cp

# remote, does not work
bucket = s3://bucket/test/
cp = s3cmd cp

all : $(bucket)obj2

$(bucket)obj2 : $(bucket)obj1
    $(cp) $(bucket)obj1 $(bucket)obj2

$(bucket)obj1 :
    $(cp) $(bucket)raw_data $(bucket)obj1

我得到的错误是：

makefile:9: *** target pattern contains no `%'.  Stop.

这是为了：

all : $(bucket)obj2

我怀疑 make 根本不理解远程 URI（“s3://xxx”）。

我能找到的所有示例/文档似乎都隐含地引用了目标和依赖项的本地文件。广泛的谷歌搜索只产生了一些关于为 s3 ( http://code.google.com/p/awstasks/ ) 创建 ant 任务的看似未完成的想法。

这是在 Python 中运行多个复杂/错综复杂的 MapReduce 作业的上下文中。

我宁愿使用 GNU make，但肯定会考虑替代方案。

我总是可以为远程目标创建一些轻量级的本地镜像，但肯定有更好的方法吗？

提前致谢！

网卡

4

1 回答 1

2

一种可行的解决方法是在本地安装 S3 存储桶。

在 Linux 上，可能可以使用fuse/ s3fs 。这可能也适用于 MacOS，但安装起来似乎很麻烦。我转而使用商业软件传输（单击“安装为磁盘”）。有了这个，上面的例子对我来说是有用的：

bucket = /Volumes/s3.amazonaws.com/bucket/test/
cp = cp

在此示例中，我们使用“cp”，因为“s3cmd cp”拒绝本地 uri。在（我的）现实生活示例中，该命令将被一些需要实际 s3 输入/输出 uris 的 python map-reduce 脚本替换。

为了保持整洁，本地安装的文件（用于 Make 测试存在/最新性）可能应该有一个前缀变量（“/Volumes/s3.amazonaws.com/”）和一个前缀变量（ "s3://") 用于构建命令指向实际数据（数据将由 EC2 实例通过 mapreduce 处理，我们绝对不想在本地下载所有内容）。

请记住，S3 只是最终一致的。还要确保为了测试存在和最新性，整个文件不会在本地下载（在这种情况下应该使用一些虚拟文件）。

希望有帮助。

如果有人有更直接的方法（没有本地安装），我很感兴趣。

网卡

于 2012-05-11T07:54:37.470 回答