问题标签 [chunking]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
940 浏览

rest - 使用 REST API 在块中上传 Blob 在第二个块上超时

注意:有人可以给我一个需要发送到 Azure blob 存储的示例 SAS 字符串(在右侧区域附加块信息)吗?我认为这就是我遇到的问题。我需要弄清楚每个块发送到 Azure 的字符串中 uri、key 等的顺序。

我想要完成的是从服务中获取一个 SAS 密钥,修改字符串密钥,以便 azure 知道我正在发送块,然后使用来自 Web 客户端的 sas 密钥发送文件的各个块. 我将每个文件分块为 2MB 块,并一次使用 JavaScript 库发送这些 2MB 块。所以下面代码中的每个“文件”只是一个 2MB 的文件块。

问题:我可以成功地从服务中获取 SAS 密钥,修改密钥使其包含块块信息,发送第一个块,然后从 blob 存储服务器接收响应。但是,当我发送第二个块时,对 blob 存储的流的请求挂起,然后最终超时。超时似乎专门发生在第二次请求到 blob 存储的流时。这段代码就在这里:

服务器网页客户端代码:

什么可能导致第二个块超时?会不会是钥匙的窗口关得太早了?下面是我的代码和一些截图:

将块发送到 WEB 服务器客户端的 JAVASCRIPT 代码:

在此处输入图像描述

在此处输入图像描述

0 投票
1 回答
2253 浏览

android - 如何在android的web api中发送块文件?

我正在发送大于 2mb 的文件。为了能够发送这个文件,我需要把这个文件分成每块 2mb 大小的小块 [chunks] 并按块发送。我已经将文件分成较小的块并将其发送到 Web 服务器,但问题是当我已经收到响应时,文件大小越来越大,同时逐块发送文件。但是每个块的文件大小为 2mb 所以我'我想知道为什么会发生这种情况。预期的文件长度是我发送的特定块的长度,而块长度是已经发送的所有块的加法大小。到目前为止,我在这里:

这是我得到的示例响应:

文件长度增加而不是块长度

0 投票
3 回答
3817 浏览

python - 使用 NLTK 进行语义解析

我正在尝试使用 NLTK 对语音导航命令进行语义解析,例如“去旧金山”、“给我到 123 Main Street 的路线”等。

这可以通过一个相当简单的 CFG 语法来完成,例如

问题是这涉及非原子(超过一个字长)文字,例如“转到”,NLTK 似乎没有设置(如果我错了,请纠正我)。解析任务将标记作为先决条件,并且所有标记器似乎总是标记单个单词。所以,我的选择似乎是:

a) 定义一个自定义标记器,可以将非句法标记分配给单词序列而不是单个单词(例如,“go to”:“COMMAND”)。b) 使用特征来增强语法,例如:

c) 使用分块器提取 COMMAND 等子结构,然后将解析器应用于结果。NLTK 是否允许 chunker->parser 级联?

其中一些选项看起来很复杂(黑客)。有什么好办法吗?

0 投票
1 回答
1730 浏览

java - Play 2.2 中的块响应缓慢

在我基于 play-framework 的 Web 应用程序中,用户可以下载 csv 或 json 格式的不同数据库表的所有行。表相对较大(100k+ 行),我正在尝试使用 Play 2.2 中的分块流回结果。

然而问题是尽管 println 语句显示行被写入 Chunks.Out 对象,但它们并没有出现在客户端!如果我限制发回的行,它会起作用,但是如果我尝试发回所有行并导致超时或服务器内存不足,它也会在开始时有很大的延迟。

我使用 Ebean ORM 并且表被索引并且从 psql 查询不需要太多时间。有谁知道可能是什么问题?

非常感谢您的帮助!

这是其中一个控制器的代码:

还有流光:

和模型:

0 投票
1 回答
471 浏览

python - 将 NLTK“干净”树转换为 NLTK Chunker 结构

我是 python 新手,并且在数据类型概念及其转换方面遇到了困难。

我有 NLTK 树格式的句子(从斯坦福解析器获得并转换为 NLTK 树)。我需要应用为 NLTK Chunker 编写的函数。但是,NLTK 树格式与 NLTK Chunker 格式不同。两种格式都是 NLTK 树,但元素结构似乎不同(见下文)。

您能帮我将 NLTK 树转换为 NLTK Chunker 输出格式吗?

提前致谢!

这是一个 NLTK Chunker 输出:

现在按元素和每个元素类型打印:

这是一个 NLTK “纯”树输出(与 NLTK 文档中的完全相同):

现在按元素和每个元素类型打印:

0 投票
1 回答
155 浏览

python - 返回列表中包含的子列表,固定大小

我怎样才能得到(以一种非常有效的 python 方式),一组包含在另一个长列表中的子列表??,我用例子解释:

假设我有这个:

我想获得一个将子列表分组的输出,比如说,在一组 7 个子列表中,那么输出将如下所示:

我不知道我是否应该这样称呼它,但这就像制作 7 个子列表的“块”。

是否有可能以快速有效的方式进行?

0 投票
1 回答
187 浏览

xslt - DocBook XSL 分块

谁能指出这个文件中控制分块的部分?

http://docbook4j.googlecode.com/svn-history/r4/trunk/docbook4j/src/main/resources/xsl/docbook/webhelp/xsl/webhelp-common.xsl

我无法将在此文档中找到的内容与在该文件中看到的代码联系起来:

http://www.sagehill.net/docbookxsl/Chunking.html

我想修改 XSL,使其在 <?confluence type="page" ?> 而不是 <section xml:id= ...> 处分块。

0 投票
2 回答
4856 浏览

php - Laravel 分块不会减少 PHP 内存使用量

所以我一直在尝试 Laravel 在 Eloquent 中的分块,但我遇到了一个问题。考虑以下代码(我的问题的更简化版本):

因此,当我运行以下代码时,我的内存输出如下所示:

因此,如果不跳入php.ini并更改memory_limit值任何线索为什么它不起作用?根据文档:“如果您需要处理大量(数千)条 Eloquent 记录,使用 chunk 命令可以让您在不吃掉所有 RAM 的情况下做到这一点”。

我在 foreach 函数之后尝试过unset($data),但没有帮助。关于我如何使用chunk或我误解了它的作用的任何线索?

0 投票
1 回答
395 浏览

php - 用于在 PHP 中发送文件块的二进制安全函数

我制作了自己的简单解决方案版本,用于在 PHP 中发送大文件。它使用文件块。该解决方案来自各种来源,我复制粘贴以下代码来实现“分块”:

由于它用于print将每个块发送到浏览器,因此它对字符编码非常敏感,其中 PHP 脚本被编码。例如,我注意到,当脚本保存在 中时ANSI,下载的文件已损坏。只有,如果我保存并上传编码为 的脚本utf-8,文件就可以了。

有没有更好的功能,而不是print做同样的事情(将文件发送到浏览器),这将是脚本文件编码的独立 - 因为,例如,会强制二进制传输到浏览器?

0 投票
2 回答
132 浏览

java - java - 如何将xml分块到java中的多个部分?

我有一个创建 xml 的代码。

我想将此 xml 创建为多个部分(每个部分最多 500kb)。我怎样才能做到这一点?我有什么办法可以确定创建的文件已经是 500kb 并将剩余的数据写入另一个文件?

我使用了这个,但是在解码 base64 字符串后的图像,生成的图像在它被剪切的部分被损坏。