我有一个程序可以成功上传我需要的所有文件。我每天都有新文件需要上传。上传文件后,我不再需要它们,因此不打算同步它们。
我很好奇是否有一种方法可以使用 s3cmd 检查是否给定路径和文件名(如果它存在于 S3 中)。
我有一个程序可以成功上传我需要的所有文件。我每天都有新文件需要上传。上传文件后,我不再需要它们,因此不打算同步它们。
我很好奇是否有一种方法可以使用 s3cmd 检查是否给定路径和文件名(如果它存在于 S3 中)。
您可以在 s3cmd 中使用 ls 命令来了解 S3 中是否存在文件。
bash 代码
path=$1
count=`s3cmd ls $path | wc -l`
if [[ $count -gt 0 ]]; then
echo "exist"
else
echo "do not exist"
fi
用法:./s3_exist.sh s3://foo/bar.txt
编辑:
正如 cocoatomo 在评论中指出的那样,s3cmd ls $path
列出所有以 .开头的 $path
文件。更安全的方法是使用s3cmd info $path
并检查退出代码。
新的 Bash 代码
path=$1
s3cmd info $path >/dev/null 2>&1
if [[ $? -eq 0 ]]; then
echo "exist"
else
echo "do not exist"
fi
假设 bar.txt 和 bar.txt.bak 存在于存储桶 s3://foo 中,“s3cmd ls s3://foo/bar.txt”显示以下输出。
$ s3cmd ls s3://foo/bar.txt
2013-11-11 11:11 5 s3://foo/bar.txt
2013-11-11 11:11 5 s3://foo/bar.txt.bak
由于我们应该从命令结果中删除第二行,我们使用“awk”命令过滤不必要的行。
$ filename=s3://foo/bar.txt
$ s3cmd ls ${filename} | awk "\$4 == \"${filename}\" { print \$4 }"
2013-11-11 11:11 5 s3://foo/bar.txt
最后,我们构建所有命令。
filename=s3://foo/bar.txt
count=$(s3cmd ls ${filename} | awk "\$4 == \"${filename}\" { print \$4 }" | wc -l)
if [ $count -eq 0 ]; then
echo "file does not exist"
else
echo "file exists"
fi
在较新版本的 AWS CLI 中,您可以使用以下代码来检测文件或目录是否存在
count=$(aws s3 ls $path | wc -l)
if [ $count -gt 0 ]
then
(>&2 echo "$path already exists!")
return
fi
我们可以使用 s3cmd ls ,如果文件存在则取一个标志 flag_exists true,如果文件不存在则取 false。
FLAG_EXISTS=false
for j in $(s3cmd ls s3://abc//abc.txt); do
if [[ "$j" == "s3://abc//abc.txt" ]]; then
FLAG_EXISTS=true
break
fi
done
if [ "$FLAG_EXISTS" = false ]; then
echo 'file not exists'
else
echo 'file exists'
fi
说明 - 由于 ls 可以返回许多值,例如如果您搜索 s3cmd ls abc.txt ,那么它可以返回诸如 abc.txt abcd.txt 等值,因此如果文件存在,则使用 if 条件循环和检查。