问题标签 [chunks]

我有这个：

我需要将其拆分为逗号分隔的块以返回如下内容：

我认为正则表达式最适合这个，但我一直卡住。本质上，我尝试进行字符串替换，但您不能在第二个参数中使用正则表达式。

我很想保持简单和干净，并做这样的事情，但它不起作用：

但在现实世界中，这太简单了。

是否可以？

这可能很简单，我忽略了一些东西......

我有一长串整数，在这种情况下代表网站的每日访问者。我想要一个新的每周访问者列表。所以我需要从原始列表中获取七组，将它们相加，然后将它们添加到新列表中。

我的解决方案似乎很暴力，不雅：

有没有更有效或更pythonic的方式来做到这一点？

我正在使用 libcurl，目前是简单的 api。我正在向使用 HTTP 块编码响应的 Web 服务器发出请求。我想知道是否有办法知道来自服务器的块何时完成。我正在寻找某种类型的回调。DEBUGDATA 似乎没有包含它，并且 CHUNK_END_FUNCTION 似乎无关。

在过去的几天里，我一直在研究一种方法，可以在保存时将我的 xna 游戏的 1.44 亿个图块表示压缩到一个非常小的尺寸。成功地实现了这一点后，我现在发现自己对如何将它们从文件中分块取回感到困惑。

在我拥有的文件中。

1. 一个整数（使用 7BitEncodedInt 方法将其压缩为字节）
2. 一个字节

压缩整数表示瓦片的数量，后面的字节确定瓦片的类型。这一切都很好，而且效果很好。最重要的是，它将文件大小平均缩小到 50mb。

问题是我目前正在读回整个文件。从文件中我得到了这个。

1. 每个图块的索引值（只是我抓取图块时的基本迭代）
2. 每个图块的类型为字节值
3. 表示该图块纹理的字节值（这很难解释，但在每个图块的基础上都是必要的）

所有这一切的最终结果是我设法保存了文件并且只使用了大约 50mb。但是通过将整个东西重新加载进去，它会在内存上扩展到近 1.5gigs。我真的不能再牺牲瓷砖信息了。所以我需要一种仅根据玩家位置加载地图部分的方法。目标是在 100-200mb 范围内

我一直在研究内存映射文件，使用四叉树，几乎所有我能找到的用于分块加载文件的东西。虽然这些选项看起来都不错，但我不确定哪个是最好的，或者如果考虑到这种情况，可能还有另一个更好的选项。所有这一切的另一个问题是这些解决方案似乎都非常复杂（特别是因为这是我第一次使用它们），虽然我不反对将自己投入到一些冗长的编码中，但我想知道它会做什么我需要它在手之前。

我的问题是，考虑到我在拉入文件时必须如何处理文件，并且需要根据玩家的位置来完成它，那么最好的方法是什么？我只是在这里寻找一些方向。代码总是受欢迎的，但不是必需的。

我有一个窗口服务，我希望它能够分块上传/下载大（大约 4MB）文件（Img、音乐等）。
我试图通过更改服务和客户端 app.config 文件中的 'maxBufferSize' 'maxRecivedMessageSize' 等来做到这一点，但不幸的是它没有用。
我的问题是如何分块上传/下载文件。如果我可以只使用 App.config 文件来做到这一点？
谢谢！

好的，所以我正在尝试制作 CSHARP Lightwave 3D 模型转换器来将我的 LWO 转换为 Javascript 对象。到目前为止，我有足够的胆量来运行这个程序，我很高兴。但是我在从二进制文件中导出 UV 时遇到了麻烦。

这是我的 LWO 二进制文件的参考资料： http ://www.gpwiki.org/index.php/LWO

出于测试目的，我使用带有两个三角形的单方形模型，有六个点。所以你可能已经熟悉了，我来看看纹理 UV 块，它在 HEX 中看起来像这样（带注释的逗号，并翻译了 Ascii）：

现在，根据我链接的文档，可以转换为以下内容。如果您想自己翻译，我发现这是一个方便的工具，用于将 32 位 HEX 翻译成 IEEE 754 单浮点数。

http://www.h-schmidt.net/FloatApplet/IEEE754.html

LWO UV 二进制翻译：

看，这看起来足够健康，直到您将 UV 位置与 Lightwave 中的实际位置进行比较：

你可以看到，二进制文件并没有那么遥远，但它足以让一切变得不同，尤其是当意图导出数千个这样的虫子时。现在我看不出这种差异有任何规律。

我目前的理论是这些数字不是 IEEE754 格式。但是所有其他值都是，所以为什么这些会有所不同。有什么我想念的吗？为了进一步的帮助，这里有一些其他的测试值。

似乎有些是正确的，而另一些只是……非常错误。感谢您花时间阅读这个问题，我很欣赏它非常长而且数字密集。任何帮助都会很棒！enter code here

我以 JSON 的形式从我的数据库中导出了一些数据，它本质上只是一个 [列表]，其中包含一堆 (900K) {objects}。

现在尝试在我的生产服务器上导入它，但我有一些便宜的网络服务器。他们不喜欢我 10 分钟吃掉他们所有的资源。

我怎样才能把这个文件分成更小的块，以便我可以一块一块地导入它？

编辑：实际上，它是一个 PostgreSQL 数据库。我愿意接受有关如何分块导出所有数据的其他建议。我的服务器上安装了 phpPgAdmin，据说它可以接受 CSV、Tabbed 和 XML 格式。

我不得不修复 phihag 的脚本：

倾倒：

恢复：

（我不知道 pg_restore 到底做了什么，但它给了我错误）

这方面的教程很方便地将这些信息排除在外，尤其是。-U在大多数情况下可能需要的选项。是的，手册页解释了这一点，但筛选 50 个您不关心的选项总是很痛苦。

我最终接受了肯尼的建议……尽管这仍然是一个很大的痛苦。我不得不将表转储到一个文件中，压缩它，上传它，提取它，然后我尝试导入它，但是生产中的数据略有不同，并且缺少一些外键（邮政编码附加到城市）。当然，我不能只导入新城市，因为这样会引发重复键错误，而不是默默地忽略它，这会很好。所以我不得不清空那张桌子，对城市重复这个过程，却发现有别的东西与城市联系在一起，所以我也不得不清空那张桌子。重新获得城市，然后我终于可以导入我的邮政编码。到现在为止，我已经删除了一半的数据库，因为一切都与一切相关，我不得不重新创建所有条目。迷人的。还好我没有 t 启动该网站。此外，“清空”或截断表似乎不会重置我想要的序列/自动增量，因为我希望有几个魔法条目 ID 为 1。所以..我必须删除或重置那些也是（我不知道如何），所以我手动编辑了那些回到 1 的 PK。

使用 phihag 的解决方案我会遇到类似的问题，而且我必须一次导入 17 个文件，除非我编写了另一个导入脚本来匹配导出脚本。虽然他确实从字面上回答了我的问题，所以谢谢。

我试图了解数据如何存储到 IDAT 块中。我正在编写一个小 PHP 类，我可以检索大部分块信息，但我得到的 IDAT 与我的图像像素不匹配：

它是带有 alpha 的 2×2px 真彩色（位深度 8）。

但是当我这样解释 IDAT 数据时：

我明白了

00000000ffffff00ffffff000000

我不明白它如何匹配像素。还是我的代码破坏了数据？

谢谢你的帮助！

编辑：我明白了

08d705c101010000008010ff4f1750a93029e405fb

作为十六进制压缩数据，所以解压缩后我似乎丢失了几个字节。

我们希望在写入每个块后做一些事情，并在仅对块有效的上下文中设置一些数据。ChunkListener然后在的afterChunk方法中使用此数据。

我们可以用它StepExecutionContext来实现这一点，但似乎并不完全正确。

有没有人有更多关于在哪里存储仅对块有效的上下文信息的信息？

我正在尝试使用 Webclient 对象以每个 5% 的块下载数据。原因是我需要报告每个下载块的进度。

这是我为执行此任务而编写的代码：

问题 - 当它到达 str.Read() 时，它会暂停读取整个流，然后计数为 0。所以 while() 不起作用，即使我指定只读取五百分变量。看起来它在第一次尝试时读取了整个流。

我怎样才能使它正确读取块？

谢谢，

安德烈