问题标签 [chunking]

我正在尝试编写一个程序，它将一个文本文件组织成 5 个行块，并将整个文本分割成这些块以分别处理。

目前我正在尝试使用：

请原谅我，因为我是一个完整的初学者，但这是正确的方法吗？我觉得chunk5 中的行中的chunk5 中缺少一些东西，这些行将指定我正在使用哪个块。

我如何让程序遍历每个块，直到它也完成了文本中的所有块？

FileField.save()超过 2.5M 的文件的幕后工作如何？我在另一篇文章中读到，FileField.save()将对要保存的文件进行自动分块。但是，如果您将文件保存到与保存超过 2.5M 文件的 tmp 目录相同的机器上，您是否需要分块？在 tmp 目录位于我要保存文件的同一台机器上的大文件上传情况下，是否save()只是mv将文件从 tmp 目录转到目标目录并绕过分块？

我制作了一个服务器，其中数据本身的发送是这样的：

我怎么知道服务器是否确实发送了整个消息？

在我的客户端（用 C# 编写）中，当 json 字符串很长时，我会得到一定数量的字节，它小于 json 字符串的长度（由于某种原因，最大长度总是 183 个字节）。

客户端正在使用异步连接。我怎么知道服务器是否确实发送了整个消息？是否有可能我需要将一条长消息分成多个块并一个接一个地发送？我只是不确定问题出在服务器还是客户端。

我需要使用 WCF 将大文件（3-4 Gb）从客户端传输到服务器，但已经存在的绑定是 wsHttpBidning。我必须使用事物绑定。使用自定义绑定也是不可行的。需要一些关于如何通过在服务端添加一个操作并从客户端调用该方法来实现它的想法吗？

在我们的应用程序中，我们有一些数据结构，其中包含一个分块的字节列表（当前公开为List<byte[]>）。我们将字节分块，因为如果我们允许将字节数组放在大对象堆上，那么随着时间的推移，我们会遭受内存碎片的困扰。

我们还开始使用 Protobuf-net 序列化这些结构，使用我们自己生成的序列化 DLL。

然而，我们注意到 Protobuf-net 在序列化时创建了非常大的内存缓冲区。浏览源代码，它似乎可能在整个结构被写入之前无法刷新其内部缓冲区，List<byte[]>因为它需要在之后将总长度写入缓冲区的前面。

不幸的是，这首先取消了我们对字节进行分块的工作，并最终由于内存碎片给了我们 OutOfMemoryExceptions（异常发生在 Protobuf-net 试图将缓冲区扩展到超过 84k 的时候，这显然把它放在LOH，我们的整体进程内存使用率相当低）。

如果我对 Protobuf-net 工作原理的分析是正确的，有没有办法解决这个问题？

更新

根据马克的回答，这是我尝试过的：

然后序列化它：

ProtoWriter.WriteBytes()但是，如果我在它调用方法底部的位置放置一个断点DemandSpace()并进入DemandSpace()，我可以看到缓冲区没有被刷新，因为writer.flushLockequals 1。

如果我像这样为 ABase 创建另一个基类：

然后writer.flushLock等于。2_DemandSpace()

我猜我在这里错过了一个与派生类型有关的明显步骤？

我想在 R 中创建一个 S4 类，它允许我从云中访问大型数据集（以块的形式）（类似于 ff 包的目标）。现在我正在使用一个名为“range.vec”的玩具示例（我还不想处理互联网访问），它存储了一个数字序列，如下所示：

我希望这个类从“numeric”继承方法，但我希望它在整个向量上使用这些方法，而不仅仅是我存储的块。例如，我不想为'mean'定义我自己的方法，但我希望'mean'通过使用length()、'['、'[ [' 和我定义的 el() 函数。我还定义了一个分块函数：

当我尝试调用像“mean”这样的方法时，该函数会正确继承，并访问我的长度函数，但返回 NA 因为我没有任何数据存储在 .Data 插槽中。有没有一种方法可以使用 .Data 插槽来指向我的分块函数，或者告诉类在不自己定义每个方法的情况下分块数字方法？如果可以的话，我会尽量避免使用 C 进行编码。任何建议都会非常有帮助！

我正在尝试进行一些分块分析，其中我分隔一个字符串，例如：

进入

使用无监督学习方法。

我偶然发现了几篇讨论投票专家算法的论文，即：http ://w3.sista.arizona.edu/~cohen/Publications/papers/voting-experts.pdf ，它通过频率和熵的结合来实现这一目标指标。

我想在 R 中使用该算法，但到目前为止我相信只有一个 java 版本（包含在这里：http ://code.google.com/p/voting-experts/ ）

我想知道是否：a）有一个包含算法实现的 R 包 b）是否已经在 R 中实现了任何类似的算法。

我正在编写一个文件传输程序。但是由于某种原因，尽管不在文件末尾，但仍在pread返回。0任何人都可以看看我的代码并看到问题吗？它与fread.

谢谢！

我正在使用此代码

但是当我使用太大的文件时，我会出现内存不足异常。

我想File.ReadAllBytes分块使用。我在下面看到过这样的代码

但我不知道如何实际将其bytesRead转换为我将转换为文本的字节数组。

编辑：找到答案。这是代码！

要更改文本格式的可读字节，请创建一个新字节并使其相等（Convert.FromBase64String(Text)）。感谢大家！

我正在尝试授权用户上传大文件。在我上传文件之前，我想把它分块。每个块都需要是一个 C# 对象。原因是为了记录目的。说来话长，但我需要创建代表每个文件块的实际 C# 对象。无论如何，我正在尝试以下方法：

不幸的是，这种方法似乎非常缓慢。有谁知道如何在为每个块创建对象的同时提高性能？

谢谢你