if-statement - 使用 s3cmd 检查文件是否在 S3 存储桶中

Question

我有一个程序可以成功上传我需要的所有文件。我每天都有新文件需要上传。上传文件后，我不再需要它们，因此不打算同步它们。

我很好奇是否有一种方法可以使用 s3cmd 检查是否给定路径和文件名（如果它存在于 S3 中）。

Answer 1

您可以在 s3cmd 中使用 ls 命令来了解 S3 中是否存在文件。

bash 代码

path=$1
count=`s3cmd ls $path | wc -l`

if [[ $count -gt 0 ]]; then
        echo "exist"
else
        echo "do not exist"
fi

用法：./s3_exist.sh s3://foo/bar.txt

编辑：

正如 cocoatomo 在评论中指出的那样，s3cmd ls $path列出所有以 .开头的 $path文件。更安全的方法是使用s3cmd info $path并检查退出代码。

新的 Bash 代码

path=$1
s3cmd info $path >/dev/null 2>&1

if [[ $? -eq 0 ]]; then
    echo "exist"
else
    echo "do not exist"
fi

Answer 2

假设 bar.txt 和 bar.txt.bak 存在于存储桶 s3://foo 中，“s3cmd ls s3://foo/bar.txt”显示以下输出。

$ s3cmd ls s3://foo/bar.txt
2013-11-11 11:11    5   s3://foo/bar.txt
2013-11-11 11:11    5   s3://foo/bar.txt.bak

由于我们应该从命令结果中删除第二行，我们使用“awk”命令过滤不必要的行。

$ filename=s3://foo/bar.txt
$ s3cmd ls ${filename} | awk "\$4 == \"${filename}\" { print \$4 }"
2013-11-11 11:11    5   s3://foo/bar.txt

最后，我们构建所有命令。

filename=s3://foo/bar.txt
count=$(s3cmd ls ${filename} | awk "\$4 == \"${filename}\" { print \$4 }" | wc -l)

if [ $count -eq 0 ]; then
  echo "file does not exist"
else
  echo "file exists"
fi

Answer 3

在较新版本的 AWS CLI 中，您可以使用以下代码来检测文件或目录是否存在

count=$(aws s3 ls $path | wc -l)
if [ $count -gt 0 ]
then
  (>&2 echo "$path already exists!")
  return
fi

Answer 4

我们可以使用 s3cmd ls ，如果文件存在则取一个标志 flag_exists true，如果文件不存在则取 false。

FLAG_EXISTS=false
    for j in $(s3cmd ls s3://abc//abc.txt); do
      if [[ "$j" == "s3://abc//abc.txt" ]]; then
        FLAG_EXISTS=true
        break
      fi
    done
    if [ "$FLAG_EXISTS" = false ]; then
      echo 'file not exists'
    else
      echo 'file exists'
    fi

说明 - 由于 ls 可以返回许多值，例如如果您搜索 s3cmd ls abc.txt ，那么它可以返回诸如 abc.txt abcd.txt 等值，因此如果文件存在，则使用 if 条件循环和检查。