0

我在我的一个项目中使用 Spring 集成 Aws 将文件从 S3 存储桶下载到本地目录。我已经指定了存储桶的位置，到目前为止下载工作正常。当我在存储桶中创建一个子文件夹以保存存档文件（已处理/下载）时，出现了问题。S3 同步器也开始下载子文件夹。我的期望是只同步存储桶中的文件夹而不是子文件夹。我可以在 spring-integration-aws 0.5 版本中看到一个标志来禁用此行为。

<xsd:attribute name="accept-sub-folders" type="xsd:string">

但我无法在 2.00 版中找到它。

下面是代码：

@Bean
public S3InboundFileSynchronizer s3InboundFileSynchronizer ()
{
    S3InboundFileSynchronizer s3InboundFileSynchronizer = new S3InboundFileSynchronizer (amazonS3);
    s3InboundFileSynchronizer.setDeleteRemoteFiles (false);
    s3InboundFileSynchronizer.setPreserveTimestamp (true);
    s3InboundFileSynchronizer.setRemoteDirectory (remoteBucket);
    ChainFileListFilter fileListFilter = new ChainFileListFilter ();
    fileListFilter.addFilter (new S3RegexPatternFileListFilter (remoteFilesExtension));
    fileListFilter.addFilter (new S3PersistentAcceptOnceFileListFilter (metadataStore (), metadataStoreKeyPrefix));
    return s3InboundFileSynchronizer;
}

和轮询器配置：

@Bean
@InboundChannelAdapter(channel = "fileArchiveChannel", poller = @Poller(fixedRate = "100000", maxMessagesPerPoll = "-1"))
public S3InboundFileSynchronizingMessageSource s3InboundFileSynchronizingMessageSource ()
{
    S3InboundFileSynchronizingMessageSource messageSource = new S3InboundFileSynchronizingMessageSource (s3InboundFileSynchronizer ());
    messageSource.setAutoCreateLocalDirectory (true);
    messageSource.setLoggingEnabled (true);
    File location = new File (localDirectory);
    Assert.notNull (location, "Local directory is not available");
    messageSource.setLocalDirectory (location);

    ChainFileListFilter fileListFilter = new ChainFileListFilter ();
    fileListFilter.addFilter (new RegexPatternFileListFilter (remoteFilesExtension));
    fileListFilter.addFilter (new FileSystemPersistentAcceptOnceFileListFilter (metadataStore (), metadataStoreKeyPrefix));
    messageSource.setLocalFilter (fileListFilter);

    return messageSource;
}

有什么方法可以停止与 spring integration aws 2.00 同步子文件夹？

4

2 回答 2

0

为了解决这个问题，我更新了正则表达式模式以排除包含 S3RegexPatterenFileListFilter 的存档文件夹路径的文件。此模式仅允许带有 txt csv 扩展名的文件，但不允许带有我的存档文件夹名称的路径。

([^archive](\.(?i)(txt|csv))$)
于 2018-09-16T12:41:31.663 回答
0

据我所知sub-folder，AWS S3 协议中没有符号：https ://docs.aws.amazon.com/AmazonS3/latest/user-guide/using-folders.html 。

这是对具有相同前缀的对象进行分组的人为方法。

当我们从 S3 获得一个对象时，我们就有了它的密钥。因此，您可以配置一个S3RegexPatternFileListFilter以跳过那些其键具有您的逻辑子文件夹名称的对象。

于 2018-09-16T03:34:05.430 回答