问题标签 [jets3t]

我有一个使用 jets3t v 0.9 jar 的 oozie 工作。默认情况下，oozie 从 Hadoop lib 目录加载 jets3t v 0.6 jar。因此，两个 jar 都被加载并得到一个 java verifierError。有没有办法阻止 oozie 加载某些库？或者任何其他方式来解决这个问题？

根据此公告，Amazon S3 文件大小限制应为 5T，但上传 5G 文件时出现以下错误

这使得 S3 似乎只接受 5G 上传。我正在使用 Apache Spark SQL 使用SchemRDD.saveAsParquetFile方法写出 Parquet 数据集。完整的堆栈跟踪是

上传限制还是5T吗？如果是我收到此错误的原因，我该如何解决？

在将数据保存到 Amazon S3 时，如何使 Apache Spark 使用分段上传。Spark 使用RDD.saveAs...File方法写入数据。当目标以s3n://Spark 启动时，会自动使用 JetS3Tt 进行上传，但对于大于 5G 的文件，此操作会失败。需要使用分段上传将大文件上传到 S3，这应该也有利于小文件。JetS3Tt 支持分段上传MultipartUtils，但 Spark 在默认配置中不使用此功能。有没有办法让它使用这个功能。

我们在使用 Jets3t 库与 S3 通信时遇到 SSL 错误。

大约一年前，我们在亚马逊简单的电子邮件服务中遇到了类似的问题，这似乎是由亚马逊升级他们的电子邮件服务器引起的，这导致使用Diffie-Helman(DH)密码的 SSL 连接引发异常。我们通过在建立 SSL 连接时从接受的密码列表中省略 DH 密码来解决此问题。

我有两个问题：

1. 其他用户是否遇到过这些错误？
2. 如果是这样，您是否能够解决它们？

似乎用户可以限制用于 jes3t SSL 连接的密码，但通过阅读配置页面并不能立即看出如何做到这一点。

这是一些更相关的信息

• 我们正在使用 jets3t 的 0.8.1 版本，在 Java 7 上运行

• 在尝试检索 S3 对象时，我们会收到以下错误序列：

  /li>

任何信息或帮助将不胜感激。

我试图将 --move 选项与 jets3t 同步工具一起使用，使用以下命令将文件从 S3 文件夹移动到本地目录。

我期待在执行此命令后，S3 文件夹中的文件将被删除，但文件仍保留在 S3 中，就好像没有提供 --move 选项一样。此外，该命令报告它已移动文件：

然而实际上并没有。

我的 jets3t 版本是 0.8.1a

JetS3t 在 Java 8 中无法获取现有 S3 对象的 LastModifiedDate，但在 Java 7 中成功。

1. 确保 Amazon S3 中存在存储桶和密钥。将其与 AWS 密钥和密钥一起添加到下面的代码中
2. 使用 Java 7 运行上面的代码就成功了。更具体地说，Object md 的返回类型是 String 类型，Date dt 的返回类型是 Date。
3. 使用 Java 8 重复它失败并出现 ClassCastException。更具体地说，JetS3t 正在返回一个字符串日期 - 而不是 Date 对象。

我认为有两个标题值 - 一个用于“Last-Modified”，另一个用于小写“last-modified”，但我不知道更多。有人可以帮忙吗？

我正在尝试使用 hadoop fs 和 jets3t 将文件从本地上传到 s3，但出现以下错误

Caused by: java.util.concurrent.ExecutionException: org.apache.hadoop.fs.s3.S3Exception: org.jets3t.service.S3ServiceException: Request Error. HEAD '/project%2Ftest%2Fsome_event%2Fdt%3D2015-06-17%2FsomeFile' on Host 'host.s3.amazonaws.com' @ 'Thu, 18 Jun 2015 23:33:01 GMT' -- ResponseCode: 404, ResponseStatus: Not Found, RequestId: AVDFJKLDFJ3242, HostId: D+sdfjlakdsadf\asdfkpagjafdjsafdj

我对为什么 jets3t 需要执行 HEAD 上传请求感到困惑。由于我正在上传的文件在 s3 上尚不存在，因此当然不应该找到它。

我假设因为我有 404 错误，所以它不可能是权限问题。

调用此错误的代码是：

...

有没有办法将字符串数组转换为 S3 策略，以便我可以将它传递给客户端以将文件直接上传到 S3。

我发现jets3t具有创建条件的库，但它没有任何功能仅用于构建策略。有没有一种方法可以以andcondition的形式创建策略？string arrayexpiration date

Scala 或 Java 程序检查 S3 存储桶是否具有与特定键模式匹配的对象的好方法是什么？也就是说，如果我有一个名为“CsvBucket”的存储桶，我如何检查它是否包含键匹配模式“processed/files/2015/8/*.csv”的对象？

谢谢

我正在探索将加密数据存储到 S3 的选项。我的后端是用 Java 构建的，我已经在使用 JetS3t 库进行一些简单的 S3 存储操作。所以，我的问题是：如何使用 JetS3t 和S3 的服务器端加密和客户提供的密钥 (SSE-C)在 S3 上以加密格式存储文件？

我试图查看 JetS3t 的程序员指南，但在这方面没有找到任何具体的内容。