问题标签 [ibm-cloud-storage]

我计划使用 IBM COS 作为对象存储解决方案。是否有任何适用于 JAVA 的 SDK 可用于通过 REST 调用进行身份验证和管理对象？

我可以使用cyberDuck 连接到存储桶。但需要使用 Java 和 Rest API 管理对象。

我可以使用授权类型作为“AWS 签名”在邮递员中进行身份验证，并提供我的 AccessKey 和 SecretKey，将高级字段留空。我看到在此之后添加了 3 个标头 - 主机、X-Amz-Date 和授权。

授权标头以 AWS4-HMAC-SHA256 Credential=******** 开头

我目前正在使用 Apache Spark 2.3.2 并创建一个管道以从文件系统读取流 csv 文件，然后将其流写入 IBM Cloud 对象存储。

我为此使用Stocator连接器。通过以下配置，对 IBM COS 的常规读写工作正常。但是，读写流操作会抛出错误：

com.ibm.stocator.fs.common.exception.ConfigurationParseException：配置解析异常：访问 KEY 为空。请提供有效的访问密钥

stocator 配置：

读取流：

写流：

错误日志：

"2018-12-17 16:51:14 WARN FileStreamSinkLog:66 - Could not use FileContext API for managing metadata log files at path cos://stream-csv.Cloud Object Storage-POCDL/_spark_metadata. Using FileSystem API instead for managing log files. The log may be inconsistent under failures. 2018-12-17 16:51:14 INFO ObjectStoreVisitor:110 - Stocator registered as cos for cos://stream-csv.Cloud Object Storage-POCDL/_spark_metadata 2018-12-17 16:51:14 INFO COSAPIClient:251 - Init : cos://stream-csv.Cloud Object Storage-POCDL/_spark_metadata Exception in thread "main" com.ibm.stocator.fs.common.exception.ConfigurationParseException: Configuration parse exception: Access KEY is empty. Please provide valid access key"

有没有办法解决这个错误或其他替代方案来解决？

更新了更多日志：

我正在尝试准备一份报告，其中包含在软层上为帐户订购的所有存储。是否有 API 可以检索相同的内容？

我可以使用需要 ssl 连接的 jaydebeapi python 3.7 包连接 db2 数据库。下面是连接字符串：

我需要使用 python

ibm_db 包

相反，但我没有找到任何关于将它与 ssl 信任库一起使用的信息。

请帮我解决这个问题。

我在读取存储在 IBM 云对象存储中的 laz 文件时遇到问题。我已经构建了 pywren-ibm 库，其中包含使用 docker 对其中一个进行 pdal 的所有要求，然后我将其作为操作部署到 IBM 云功能，其中出现的错误是“无法打开'Colorea.laz 的流”并出现错误'没有这样的文件或目录。' 如何在 IBM 云功能中使用 pdal 读取文件？

这是一些代码：

该代码是从带有 jupyter notebook 的本地 pc 运行的。

在 pc 上使用 cmd 下载 npm 后，我使用 cacli train 向 WML 提交训练运行，并通过身份验证以连接到云存储。问题是当我进入(us-geo)IBM 云网站上提供的端点的区域时没有工作。请记住，我来自加拿大渥太华。有没有人有办法解决吗？谢谢你。

我有一个 iOS 应用程序。想探讨需要做些什么来实现以下目标：

美国人口普查区信息将上传到 Cloud Object Storage。

有 70,000 个按美国各州分组的区域 = 50 + 1 (DC)

我可以使用 SQL Query 通过其 ID 选择一个 Census Tract。

在 iOS 应用程序中，我可以使用 Apple Login 并获取用户的姓名和电子邮件。

问题是如何在应用内购买后自动授予/撤销对此信息的访问权限？

问题是双重的。我是否必须创建 70,000 个 CSV 文件并授予他们访问权限？或者这可以用 SQL 动态实现？

第二部分是 - 如何自动化这个过程？

IBM Cloud 是否具有此功能？

我想使用 Rest API 从虚拟服务器附加和分离便携式存储。我没有找到任何与便携式存储的附加和分离相关的 API 参考。

我正在尝试访问同一个 IBM 帐户下的多个 COS 实例。我看到每个 COS 实例都有不同的 accesskey、secret-key。hive.xml(fs.s3a.access.key,fs.s3a.secret.key) 中的属性对于一个实例一次只能接受一个值。如果我提供多个访问密钥，那么像 access.key1 这样的密钥将无法正常工作，因为配置单元不知道该密钥属于哪个实例。解决此问题的任何建议或替代方法。与只有存储桶的亚马逊 s3 相比，IBM 云存储多了一层 COS 实例——> 存储桶。对于不熟悉 IBM 云的人来说，这个问题可以被认为是，是否可以在同一个 hive 配置中引用两个不同的 s3 帐户。因为这两个不同的 s3 账户会有不同的密钥对。注意：注意多个 cos 实例是 IBM 云的特定术语。在 aws 的上下文中，所有 s3 存储桶都由存储桶标识。

1.多个cos实例的多个hive实例。这件事很有效，但我觉得我们最终可能会有 n 个实例。2. 尝试在 core-site.xml 中添加更多属性，例如 (fs.s3a.secret.key,fs.s3a.secret1.key) 这对第二个实例不起作用。

背景

当通过和遵循 prestosql 指南Amazon S3 配置 - Hive 连接器s3a://将 URI 前缀与具有单个 HMAC 密钥对的 S3 配置一起使用时，prestosql 可以很好地处理 S3 和 S3 兼容对象存储（例如，IBM 云对象存储）上的数据。hive.s3.aws-access-keyhive.s3.aws-secret-key

问题

当数据在两个云帐户的两个不同存储桶中提供时，这意味着客户端必须使用两个不同的 HMAC 密钥对来访问对象。这是否意味着它必须通过 prestosql 中的 hive 连接器配置两个目录？

这在使用 IBM 云时很常见，其中对象存储服务作为不同云帐户的实例进行管理。