问题标签 [object-storage]

我无法从本地独立 Spark 集群访问对象存储上的文件。这是代码 -

这是我得到的例外

请注意 - 当我在 bluemix 中运行 notebook 或 spark-submit 时，我可以访问该文件。

我还可以通过 swift CLI 访问文件。

有人知道 OpenStack Swift 在哪里存储“环”吗？是否有一种分布式算法，或者它只是一些存储节点上某处的一个表，其中包含有关所有（！）物理对象位置的信息（我不敢相信，因为根据我对对象存储的理解，它应该扩展到艾字节，而这在这样的表中需要很多条目......）？

这个页面帮不了我：http ://docs.openstack.org/developer/swift/overview_ring.html

在此先感谢您的帮助！

我使用了查询参数“limit”、“marker”和“end_marker”。带标记的参数限制效果很好（例如 ?limit=10&marker=image.png），但是当我尝试使用 'end_marker' 检索上一页时（例如 ?limit=10&end_marker=image.png），效果不佳. 如何在快速对象存储中获取上一页？

我提到了 http://developer.openstack.org/api-ref-objectstorage-v1.html#storage_object_services

我想使用文件夹或容器路径删除所有文件和文件夹，而不列出其中的所有文件。可能吗？

我有想要与他人共享的 Bluemix Spark 笔记本。我希望他们能够使用与我的 Spark 实例关联的对象存储上的数据来运行笔记本（因此他们不需要自己加载数据）。

我正在使用以下内容在 Scala 笔记本中配置对象存储（此代码取自另一个 stackoverflow 帖子）。

我能够使用在我自己的 luemix Spark 服务上运行的 Scala 笔记本中的以下内容成功访问我自己的对象存储上的数据。

但是，当在他们自己的 Bluemix Spark 服务中运行笔记本时，我与之共享笔记本的其他人无法使用上面显示的相同对象存储配置访问我的对象存储上的数据。

在他们自己的 Bluemix Spark 服务上运行 Spark 笔记本的其他人如何访问与我的 Bluemix Spark 服务关联的对象存储上的数据。

以为我会提出一个问题，因为这让我很头疼

我有一个将文件上传到 SoftLayer 对象存储容器的 PHP 应用程序。为了与对象存储 API 通信，我使用来自 https://github.com/softlayer/softlayer-object-storage-php的 PHP 绑定， 并从我的 composer.json 文件中引用它们

检索对象容器文件和 url 工作正常。但是我一直在上传文件时遇到问题，特别是取决于它们的大小。它曾经在几天前工作，但由于某种原因最近停止工作

这是我用于上传文件的“开箱即用”代码：

出于某种原因，上传小于 1Mb 的文件是可行的。但是任何大于此大小的文件， ->create() 请求最终都会超时，不会引发异常，并且我的日志中不断出现这些错误：

由于这些绑定本质上是一个包装轮卷曲，然后我自己用 CURL 进行了测试，看看我是否可以将大于 1M 的文件上传到 Softlayer 存储容器。事实证明，它在我的开发机器和登台服务器上都成功使用了 CURL！

你有没有遇到过这个？我不明白为什么它突然停止工作。有人知道吗？

谢谢阅读

我正在尝试使用 S3 动态存储作为 AWS S3 的替代品。我通过 Ruby 和carrierwave-aws使用它。

我所做的唯一更改是使用不同的凭据（我从 Swisscom 开发者控制台获得密钥和秘密）和https://ds31s3.swisscom.com作为 endoint。

现在无法克服Access Denied来自carrierwave的错误消息，尽管我可以从日志中看到看起来像正确的请求：

有谁知道那是关于什么的？

我正在运行 Spark Notebook 以将 DataFrame 作为 Parquet 文件保存在 Bluemix 对象存储中。

我想在重新运行笔记本时覆盖 Parquet 文件。但实际上它只是附加数据。

下面是 iPython 代码示例：

我正在使用在 Bluemix 上运行 Flask 的 Python 应用程序。我知道如何将对象存储与 swiftclient 模块一起使用来创建容器并在其中保存文件，但是如何转储其中包含的 joblib 或 pickle 文件？以及如何将它加载回我的 Python 程序中？

这是存储简单文本文件的代码。

我正在使用 bluemix 对象存储容器，我想要将我的“RandomForestRegressor”存储到带有 joblib 的 pkl 文件中。但是当我使用 Swift 客户端运行代码时，我收到了错误消息。

这是我的代码，请帮忙。