3

我有下面的 PowerShell 脚本，可以为我将文件移动到我的亚马逊存储桶，并且对于一些小文件来说一切正常，但是当复制较大的文件时，for 循环继续循环并在其他人完成之前开始复制，并且不需要很长时间在我一次传输 100 多个文件之前。

我想要的是能够将同时文件传输的数量限制为 5 或 10？

foreach ($line in $csv) {  

#--------------------Transfer files Put in a for each loop here---------------------------
$SourceFolder  =$line.destination
$sourceFile = $line.name

if(test-Path -path $SourceFolder){
    Write-S3Object -BucketName $BucketName  -Key $sourceFile  -File  $SourceFolder 
    #check fro missing files
        $S3GetRequest = New-Object Amazon.S3.Model.S3Object  #get-S3Object  -BucketName   $BucketName  -Key $sourceFile
        $S3GetRequest = get-S3Object  -BucketName $BucketName  -Key $sourceFile

        if($S3GetRequest -eq $null){
            Write-Error "ERROR: Amazon S3 get requrest failed. Script halted."
            $sourceFile + ",Transfer Error" |out-file $log_loc -append
    }
}else {$SourceFolder + ",Missing File Error" |out-file $log_loc -append}

}
4

1 回答 1

5

从描述中，听起来您的较大文件正在触发分段上传。从Write-S3Object 文档：

如果您要上传大文件，Write-S3Object cmdlet 将使用分段上传来满足请求。如果分段上传中断，Write-S3Object cmdlet 将尝试中止分段上传。

不幸的是，Write-S3Object 并没有真正的本地方式来处理您的用例。但是，分段上传概述描述了一种我们可以利用的行为：

分段上传是一个三步过程：启动上传，上传对象分段，上传所有分段后，完成分段上传。收到完整的分段上传请求后，Amazon S3 会根据上传的部分构造对象，然后您可以像访问存储桶中的任何其他对象一样访问该对象。

这让我怀疑我们可以 ping 我们的对象Get-S3Object以查看它们是否存在。如果没有，我们应该等待上传更多文件，直到它们上传。

我在下面创建了一个脚本来执行此操作——它遍历文件集合并在您上传文件时收集它们的名称。一旦您上传的文件超过 5 个，脚本将检查它们是否存在，如果存在则继续。否则，它将继续检查它们是否存在。

$BucketName = "myS3Bucket"
$s3Directory = "C:\users\$env:username\documents\s3test"
$concurrentLimit = 5
$inProgressFiles = @()

foreach ($i in Get-ChildItem $s3Directory) 
{ 
  # Write the file to S3 and add the filename to a collection.
  Write-S3Object -BucketName $BucketName -Key $i.Name -File $i.FullName 
  $inProgressFiles += $i.Name

  # Wait to continue iterating through files if there are too many concurrent uploads
  while($inProgressFiles.Count -gt $concurrentLimit) 
  {
    Write-Host "Before: "$($inProgressFiles.Count)

    # Reassign the array by excluding files that have completed the upload to S3.
    $inProgressFiles = @($inProgressFiles | ? { @(get-s3object -BucketName $BucketName -Key $_).Count -eq 0 })

    Write-Host "After: "$($inProgressFiles.Count)

    Start-Sleep -s 1
  }

  Start-Sleep -s 1
}

您可以通过更改 foreach 循环以使用您的 csv 内容来根据您的需要进行修改。我添加了睡眠语句，以便您能够观看并了解它是如何工作的——随意更改/删除它们。

于 2014-03-16T23:16:40.930 回答