问题标签 [chunking]

我正在尝试构建一个通过块支持大文件的 HTML5 文件上传器。我已经在网上找到了足够的文档来处理前端的事情，但是我看到关于如何在块到达服务器后重建块的零信息（我正在使用 Rails。）有什么帮助吗？

现有的 Linq 函数有没有办法从项目列表中创建任意大小的组？

例如：

当执行 list.Group(3) 之类的操作时，会产生一个 IEnumerable 的 IEnumberable，如下所示。

可能重复：
如何在 Python 中将列表拆分为大小均匀的块？

我很惊讶我找不到将可迭代作为输入并返回可迭代的可迭代的“批处理”函数。

例如：

或者：

现在，我写了一个我认为非常简单的生成器：

但以上并没有给我我所期望的：

所以，我错过了一些东西，这可能表明我对 python 生成器完全缺乏了解。有人愿意指出我正确的方向吗？

[编辑：我最终意识到只有当我在 ipython 而不是 python 本身中运行它时才会发生上述行为]

我试图了解如何使用 TreeTagger

http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/

由 tt4j 包裹

http://reckart.github.io/tt4j/

分块一些文本。

我找不到任何教程。

谢谢您的帮助

我有一个嵌入式应用程序，它通过 HTTP 与 RESTful 服务器通信。一些服务涉及向客户端发送一些数据，这些数据使用我使用flex编写的非常简单的词法分析器进行解释。

现在我正在添加一个 gzip 压缩层以减少带宽消耗，但由于内存要求，我对当前架构不满意：首先我在缓冲区中接收整个数据，然后我将整个缓冲区解压缩到一个新的缓冲区，然后我将整个数据提供给 flex。

通过将来自 HTTP 客户端的分块数据提供给 zlib 例程，我可以在第一步和第二步之间节省一些内存。但我想知道是否可以在 zlib 分块输出和 flex 输入之间做同样的事情。

目前我只使用yy_scan_bytesandyylex来分析输入。flex 是否有任何功能可以将多个数据块提供给yylex? 我已阅读有关多个输入缓冲区的文档，但无济于事。

我正在用 Docbook 5.0 写一些书。我将它们包括在一个集合中，如下所示：

为了在 html 中转换 XML，我使用了 docbook 中最新的样式表 (1.76.1)。我有一个非常定制的样式表，用于生成单个 html (mydocbook.xsl)：

这工作得很好，我得到了集合、书籍和更高级别部分的 ToC，正如预期的那样。现在，按照http://www.sagehill.net/docbookxsl/ChunkingCustomization.html上的指示，我为分块版本 (mychunk.xsl) 创建了另一个样式表，如下所示：

应用此样式表时，我得到了预期的分块，但绝对没有生成ToC（集合没有 ToC，书籍没有 ToC，更高级别的部分没有 ToC）。

有人看到我做错了吗？我可以在 xsl 文件中添加消息，但我不知道在哪里添加它们来诊断问题。有关如何使用消息调试此问题的任何提示？

我在访问第三方提供的 Web 服务时遇到问题。查看 Axis2 线路跟踪，我可以在我的 XML 标记返回的中间看到\r\n3ff8\r\n，这导致 Axis2 在尝试解析它们时出现嘶嘶声。

据我所知，这与 Axis2 处理不好的 HTTP 1.1 分块有关。

我遇到的问题与此论坛帖子中的问题相同

如何更改我的 web 服务代码以使其使用 HTTP 1.0 以避免分块问题？据我所知，Axis 默认默认为 CommonsHTTPSender，所以我不确定为什么上面链接的论坛帖子建议更改为。

或者有没有更好的方法来解决这个问题？

我正在尝试将字节流拆分为越来越大的块。

源流包含未知数量的字节并且读取成本很高。枚举器的输出应该是大小递增的字节数组，从 8KB 到 1MB。

这很简单，只需读取整个流，将其存储在数组中并取出相关部分即可。但是，由于流可能非常大，因此一次读取它是不可行的。此外，虽然性能不是主要问题，但保持系统负载非常低很重要。

在实现这一点时，我注意到保持代码简短和可维护是相对困难的。还需要记住一些与流相关的问题（例如，即使 Stream.Read 成功，它也可能不会填充缓冲区）。

我没有找到任何对我的案例有帮助的现有课程，也找不到在网上很接近的东西。你将如何实现这样一个类？

我有一个大 zip 文件（500MB 或更大），我正在读入 MemoryStream 并作为 FileStreamResult 返回。但是，对于超过 200MB 的文件，我收到了 OutOfMemory 异常。在我的操作中，我有以下代码：

我正在尝试实现基于 Maxent 分类器的句子分块器，如 NLTK 书（示例 7.9）中所述：

http://nltk.googlecode.com/svn/trunk/doc/book/ch07.html#code-classifier-chunker

当我尝试用

或用

我收到以下错误：

我在谷歌上没有找到任何东西，我被困在这一点上。任何帮助都会非常有用！