问题标签 [chunking]

什么是最好的交钥匙（即用型、工业级）关系检测库？

我一直在玩 NLTK，我得到的结果不是很令人满意。

• http://nltk.googlecode.com/svn/trunk/doc/book/ch07.html
• http://nltk.googlecode.com/svn/trunk/doc/howto/relextract.html

理想情况下，我想要一个可以接受以下句子的库：

“莎拉杀死了一只正在吃孩子的狼”

并将其转换为一种数据结构，其含义类似于：

杀死（莎拉，狼）和吃（狼，孩子）

我知道这是大量研究的主题，而且这不是一件容易的事。也就是说，是否有人知道用于检测关系的相当健壮的即用型库？

有谁知道在文本处理的上下文中什么是分块器以及它的用途是什么？

基本上我正在寻找一种在服务器上存储部分上传的最佳方法。文件将逐块上传。块可以以任意顺序并行出现。我需要以某种形式将它们临时存储在某个地方，然后从上传的块中构建完整的文件。我对如何做到这一点有一些想法，但我想知道是否已经有一些最佳实践、标准或某种 RFC ......？

更新：

上传将通过 HTTP 进行。

在阅读提高 .NET 应用程序性能和可扩展性时，我在“提高托管代码性能/垃圾收集器指南：

Avoid preallocating and chunking memory.

但是这本书从来没有解释过为什么预分配是不好的，或者根据 GC 优化，分块的真正含义是什么。

有人可以更深入地了解这个问题并向我解释为什么 2 不好，以及它们在 .net 中使用 GC 的真正含义是什么？

http://www.microsoft.com/downloads/en/details.aspx?FamilyId=8A2E454D-F30E-4E72-B531-75384A0F1C47&displaylang=en

我最近更改了绑定配置以允许在我的 WCF 服务中进行模拟。通过实现这一点，我需要使用缓冲的 TransferMode.Buffered 而不是流式传输。虽然这似乎暂时解决了我的问题，但我注意到大文件 (>200MB) 在尝试分配 MemoryStream 以传递消息时会引发异常。我的同事和 google 让我相信 Chunking 是答案，我已经尝试实现这个示例的一个版本：

MSDN 分块文章

我修改了 TCPChunkingBinding 类以从 BasicHttpBinding 而不是 Binding 派生，并添加了我们在尝试分块之前使用的必要 BasicHttpSecurity 属性。

以前使用 BasicHttpBinding 的所有端点现在都使用 TCPChunkingBinding。以下是我对 TCPChunkingBinding 类所做的修改：

...

我得到的错误是

当我在示例中的 Service 类的 Host.cs 中调用 host.open() 时。

基本上我的问题是有人能帮我弄清楚如何让这个样本与模拟和分块一起工作吗？

在任何人回答之前，在尝试分块道路之前，我已将每个缓冲区设置都最大化，并且由于模拟的必要性，我无法使用 Streaming 传输模式。提前致谢。

我正在为透明代理编写 HTTP 解析器。让我难过的是Trailer:规格中提到的Transfer-Encoding: chunked. 它是什么样子的？

通常，HTTP 分块以这样的方式结束。

我感到困惑的是，如果有某种尾随标头，如何检测块的结尾......

更新：我相信一个简单\r\n\r\n的空行就足以检测到尾随标题的结尾......对吗？

我正在使用 python 加密一些文件，但是我在逐块读取文件时遇到问题。

它有时不会返回最后一个块的所有数据。

当文件长度为 307200 字节时，我没有问题。当它的长度为 279363 字节时，我会这样做。

我在 2 个文件上运行了这段代码（分别为 307200 和 279363 字节大）

我得到了这个：

如您所见，第一个文件的所有块大小的总和是正确的，第二个文件的总和是错误的。我不知道为什么。

我的 Python 版本是 2.6.5
（在 Ubuntu 10.04.2 LTS 上运行）

*编辑：我自己的愚蠢错误。我在阅读我刚刚编写的文件之前使用w.close而不是，这导致了问题。w.close()

我正在使用 .Net 4.0 和 SQL Server 2008 R2。

我正在运行一个大型 SQL 选择查询，它返回数百万个结果并且需要很长时间才能完全运行。

有谁知道我怎样才能只读取查询返回的部分结果而不必等待整个查询完成？

换句话说，我想在查询仍在运行并获得下一个结果时读取第一个 10,000 个记录块。

我（仍在）尝试使用 php 通过 html 表单上传 <200mb 的大文件。

在我对此进行研究的过程中，我遇到了“分块”一词，我知道这个过程可以将文件分成方便的大小，例如 5mb，然后在服务器端将它们重新组合成完整的文件。

我的问题似乎是我可以从哪里开始？我似乎无法通过谷歌搜索找到正确的资源（或者我可能因为不知道要搜索哪些术语而苦恼）。

所以我今天希望的是有机会用基础知识来教育自己，一个寻找的方向会非常有帮助。我真的不想下载插件或类似的东西，我更愿意通过实​​验来学习。

编辑补充：虽然下面的两个答案似乎是正确的，但这将我带入了我作为设计师无法做的事情的领域......如果有人阅读本文可以提出不同的方法，我将不胜感激。

How would you go about splitting a music file (preferably mp3) into chunks?

I am using the SDL_mixer API. There may be some useful functions in there but I couldn't find any.

The purpose is to use FFT on each chunk to get the frequencies to use in visualization.