问题标签 [chunks]

我正在编写一个 FUSE 覆盖 fs (notifyfs)，它可以是一个数据库客户端可以通过查询从中获取数据。我的目的是让它成为一个缓存/overlayfs/数据库，客户端可以在显示条目及其属性（属性，还有 mimetype、图标等）时从中获取数据。

查询是获取目录的内容。已经与 notifyfs 建立连接 (=fd) 的客户端通过“list_message”请求数据。我现在的问题是如何对 notifyfs 必须给出的响应进行编程。我正在考虑三种/两种不同的方法。请注意以下事项：

notifyfs 以具有不同条目的基本形式响应，其中每个条目都是这样的：

（调用这个 notifyfs_entry_struct）

请注意，名称的 len 不是固定的，最大为 255。Futher 客户端要求一定数量的条目，最大。我不确定这个最大值到底是多少，但应该是 80 左右。

一个。一大缓冲。大小类似于：

80 x (255+sizeof(struct notifyfs_entry_struct))

可以肯定的是，这将超过 20400 个字节。

湾。固定大小的块，使用 iovec 或 readdir 之类的东西。

什么是最好的选择？第一种方法使用至少 20400 字节的缓冲区，它很多，但它仍然可行吗？

史蒂夫

我想在服务器上上传我的大图。
是否可以将它们分块转换并上传到服务器上？

这是我上传图片的代码我如何在块中发送图片？

我正在编写一个包含多行代码的程序。目前，我正在分别处理每一行 -> 当每一行进入时，我将其剥离、存储等，然后通过 sys.stdin.readline() 方法请求下一行。我想知道是否有办法提高我的效率，因为我的程序目前太慢了。一次取所有行是否更快（我知道我期待多少行），将它们存储在一个列表中然后处理它们？如果是这样，是否有任何内置功能可以提高速度并且可以有效地做到这一点？

谢谢

我在这里看到了一些关于如何将 Python 列表拆分为块的好帖子，例如如何将可迭代的对象拆分为固定大小的块。大多数帖子处理分割块或将列表中的所有字符串连接在一起，然后根据正常的切片例程进行限制。

但是，我需要基于字符限制执行类似的操作。如果您有一个句子列表但不能截断列表中的任何切片。

我可以在这里编写一些代码：

输出应返回如下内容：切片为：[[0, 1, 2, 3, 4, 5, 6], [7, 8, 9, 10, 11, 12, 13], [14, 15, 16, 17, 18, 19, 20]] （每个数字引用字符串列表中的一个项目）

所以，当我遍历这个列表列表时，我可以使用类似 "".join([item for item in each]) 的东西在一行上打印 0,1,2,3,4,5,6, 7, 8,9,10,11,12,13 在另一个上。有时，一个列表可能只有 2 个项目，因为这两个项目中的每一个都非常长（加起来会低于 380 个字符或其他字符的限制）。

我知道代码很糟糕，我应该使用生成器。我只是不确定该怎么做。

谢谢。

我正在计算两个数据集之间的相关性，但由于数据量很大（10 GB），而我的 RAM 只有 6 GB，我面临内存问题。我想知道如何分块我的代码？

但是得到了这个错误：

我一直在尝试将视频文件拆分成块并将这些块一个一个地发送到服务器。但我不确定我写的逻辑或代码是否正确！如果你能帮我解决这个问题。

谢谢

我有一项任务需要我加载对我的内存来说太大而无法立即加载的日志文件。因此我需要通过不同的块加载文件的方法..

我知道：

从文件中加载第一个 n 块，但是如何加载其余的块？

谢谢！

我有一个集合，其中分片键是 UUID（十六进制字符串）。集合是巨大的：8.12 亿个文档，大约 9600 个块在 2 个分片上。出于某种原因，我最初存储的文档不是 UUID，而是在分片键字段中具有整数。后来我完全删除了它们，现在我所有的文档都被 UUID 分片了。但我现在面临块分布的问题。虽然我有整数而不是 UUID 的文档，但平衡器为这些文档创建了大约 2700 个块，并将它们全部放在一个分片上。当我删除所有这些文档时，块并没有被删除，它们保持为空并且它们将永远是空的，因为我现在只使用 UUID。由于平衡器根据每个分片的块数而不是文档数或大小来分配块，因此我的一个分片占用的磁盘空间是另一个分片的 3 倍：

可悲的是 mongodb 不提供手动删除或合并块的命令。我的主要问题是，这项工作是否可以摆脱空块：

1. 停止平衡器。连接到每个配置服务器，从config.chunks空块的范围中删除，并将minKey切片固定在第一个非空块的开头。启动平衡器。似乎有风险，但据我所知，config.chunks它是唯一存储块信息的地方。

2. 停止平衡器。启动一个新的 mongod 实例并将其连接为第三个分片。手动将所有空块移动到这个新分片，然后永远关闭它。启动平衡器。不确定，但只要我不再在分片键中使用整数值，所有查询都应该运行良好。

我想以小块复制文件（如果需要取消复制操作）。

我正在尝试遵循此处未标记的解决方案：如何复制具有取消复制功能的文件？

但我得到一个 0 字节的文件

我做错了什么？

**

更新 1：

**

我尝试按照 Virtlink answer 的步骤将缺失的部分放入我的原始代码中，但我仍然得到一个零字节文件。

**

更新 2：

**

我最近失败的尝试：

**

更新 3：

**

解决方案

问题出在 VB.NET 中，我无法在循环条件中为变量赋值，所以这是工作 Sub：

上下文： 我正在解析 Riff/Wave 文件。有文档标识 Riff 块中的 FourCC 值。以下是波形文件更重要的块。

两个 .wav 特定块的 FourCC ID：

因此，这些 fmt 值应该相等：

并且，这些数据值应该相等：

现在，当我读入有效的 .wav 文件时，FourCC fmtChunkID fmt int总是：

并且数据int始终是：

问题： 为什么记录的 Hex 值与我从流中返回的 int 不匹配？我猜我不了解十六进制到整数的转换。

额外： 我在网上找到了具有可疑 fmt 值“1718449184”的 .wav 解析器代码。但我发现更多 fmt 值“544501094”。最后，谷歌搜索“1718449184 AND 544501094”；没有。

感谢您的帮助。