我在 S3 中存储了数亿个文件。我用 Elasticsearch 索引这些文件。一般来说，它是增量的，速度不是主要问题。有时，我需要索引整个集合。我正在尝试确定我们的内部 API 是否应该通过 S3 SDK 检索文件内容并将其返回，或者我们的内部 API 是否应该只返回 S3 URL 并让索引器下载文件。
与使用 S3 SDK 相比，直接通过 S3 HTTP 地址建立索引有哪些好处和注意事项？
我意识到 S3 可能比从本地磁盘索引慢几个数量级。这不是我关心的问题。
我在 S3 中存储了数亿个文件。我用 Elasticsearch 索引这些文件。一般来说，它是增量的，速度不是主要问题。有时，我需要索引整个集合。我正在尝试确定我们的内部 API 是否应该通过 S3 SDK 检索文件内容并将其返回，或者我们的内部 API 是否应该只返回 S3 URL 并让索引器下载文件。
与使用 S3 SDK 相比，直接通过 S3 HTTP 地址建立索引有哪些好处和注意事项？
我意识到 S3 可能比从本地磁盘索引慢几个数量级。这不是我关心的问题。