问题标签 [weed-fs]

我的工作是为静态图像/视频文件设计一个分布式系统。数据的大小约为数十 TB。它主要用于 HTTP 访问（因此不对数据进行处理；或仅进行简单的处理，例如调整大小——但这并不重要，因为它可以直接在应用程序中完成）。

说得更清楚一点，这是一个系统：

1. 必须是分布式的（横向规模），因为数据的总规模非常大。
2. 主要通过HTTP提供小型静态文件（例如图像、缩略图、短视频）。
3. 一般来说，不需要处理数据（因此不需要 MapReduce）
4. 可以轻松地设置对数据的 HTTP 访问。
5. （应该有）良好的吞吐量。

我正在考虑：

1. 本机网络文件系统：但似乎不可行，因为数据无法放入一台机器。

2. Hadoop文件系统。我之前使用过 Hadoop mapreduce，但我没有使用 Hadoop 作为 HTTP 请求的静态文件存储库的经验。所以我不知道这是否可能或者是否是推荐的方式。

3. MogileFS。看起来很有希望，但我觉得使用 MySQL 来管理本地文件（在单台机器上）会产生太多开销。

请问有什么建议吗？

存储 10 亿张图像的最佳方式是什么？（由网站用户通过 PHP 或 Javascript 上传）

既然每个人都知道在单个目录或 NFS 等中存储大量图像（在这种情况下是网站用户上传的图像）是不好的，那么存储 10 亿张图像的存储解决方案的最佳方式、架构和配置是什么？

假设单个用户不会拥有超过 20 张图像，我们将如何组织用户图像？请考虑这必须以结构化方式组织，以便我们可以通过某种类型的用户唯一标识符或哈希以编程方式通过 php/javascript 或 API 获取单个用户的图像。

任何开源解决方案都将是首选。可能的解决方案是 glusterFS、MongoDB、WeedFS 等。

假设如下：

• 使用 Linux Debian 发行版的网站每月将有 10 亿次页面浏览量

• 每个用户最多 20 张照片（10 个 90 像素 x 90 像素和 10 个大的缩略图，脚本调整大小的图像，最大宽度为 500 像素或最大高度为 500 像素，具体取决于图像的形状，即正方形、矩形、水平、垂直等）。

• 一个 LEMP-stack (Linux Nginx MySQL PHP) 社交媒体类型的应用程序，其内容将是文本和图像。

• 没有像 S3 等第三方云存储。它必须在使用我们自己的硬件和资源的私有数据中心内。

• 该解决方案必须包括存储解决方案和组织用户上传的图像。

在我的研究过程中，我还提出了以下 2 篇很棒的文章，以帮助您进一步澄清我的问题。

http://highscalability.com/flickr-architecture

http://perspectives.mvdirona.com/2008/06/30/FacebookNeedleInAHaystackEfficientStorageOfBillionsOfPhotos.aspx

在使用 NodeJS 之前，我使用 Mongo GridFS 和 WeedFS 来存储媒体文件，现在我想评估 GlusterFS。我在https://github.com/qrpike/GlusterFS-NodeJS找到了 NodeJS 模块，但下面显示的示例令人困惑

在上面的示例中，我没有像在 https://github.com/aheckmann/gridfs-stream 使用 gridfsstream 或在 https://github.com/cruzrr/node 使用 weedfs 节点包装器那样直接存储媒体文件-杂草。

我对 GlusterFS 的理解错了吗？我想提供有关如何通过 NodeJS API 从 GlusterFS 存储和检索文件的基本示例。请帮助我。谢谢。

您好我正在尝试使用weed-fs java 客户端将文件上传到 weed-fs 。我想我已经按照如何安装 weed 的说明成功安装了 weed。总之我

1. 用命令启动master$./weed master
2. 然后$./weed volume -port=9444我的应用服务器的卷服务器已经占用了 8080 端口
3. 通过使用命令 `$./weed upload -dir="any_dir_with_small_files" 上传文件夹来测试一切是否正常

至此，一切都很好。在我的应用程序中，我尝试multipart/form-data从浏览器发布，该浏览器被调用一个类来处理上传的 servlet 拦截。

当我运行它时，我会得到很多调试信息

就像 x10 一样，我的屏幕高度会这样继续，不要忘记我设置了一个非常小的字体大小。有人可以告诉我这应该怎么做。如果您能指导我正确地指导杂草 fs 的 java 客户端，我也将不胜感激。提前致谢。

我正在使用weed-fs存储文件并尝试使用以下代码将文件流式传输到客户端

但我收到错误Error: connect ECONNREFUSED

如果我查看weedfs读取方法，我发现下面的代码

难道我做错了什么。请帮我解决这个问题。

什么情况下我们应该优先于像 HDFS 这样的分布式文件系统？如何决定使用哪一个或任何其他类似的替代方案？

我正在使用 weed-fs 0.7 beta。我遇到了一个问题，即主服务器总是没有任何可用的卷服务器，而我有 2 个。我在 Linode 中有 2 台服务器，我使用其中一台来使用此命令创建主服务器、卷服务器和文件服务器。

3 个系统正常启动。但是当我使用这个命令检查主服务器时：

这是结果：

我可以使用这个直接将文件添加到卷服务器中：

当我尝试添加上述文件时，这是服务器控制台上的响应：

我最好的猜测是，主服务器似乎无法检测到卷服务器，而它们都在同一台服务器上。我尝试使用我的第二台服务器运行卷服务器并使用私有 IP 指向主服务器的 IP 地址，它也不起作用。但似乎卷服务器能够在没有主服务器的情况下工作。

我正在向 seaweedfs 写入图像文件，但它抛出了一个错误

下面是代码

我在上面的代码中做错了什么。

我们正在使用 seaweedFS 来保存我们的图像和 mp4 视频文件。现在，我们计划将 HLS 文件保存在 seaweedFS 上。一切都很完美，HLS 文件现在保存在 seaweedFS 上，但是当我们尝试在 HTML5 视频播放器中使用 HLS URL 时，它会给出以下警告：

Cross-Origin Request Blocked: The Same Origin Policy disallows reading the remote resource at http://{seaweedFS-URL}/gpocam/timelapses/testt-ymgqr/index.m3u8. (Reason: CORS header 'Access-Control-Allow-Origin' missing).

当我在 VLC 中使用相同的 URL 时，它可以工作，但不能在浏览器的播放器中工作。任何人都可以在这里指出问题吗？

我部署了一台 seaweedfs 主服务器和一台卷服务器

运行几个星期时，它显示错误：

我将音量从 7 更改为 50（参数max），它解决了。但我检查了 seaweedfs 使用的磁盘大小

它只显示14M的磁盘空间使用量，那么卷数的真正含义是什么？