问题标签 [data-compression]

我有一些用 C++ 处理的财务数据。我以简单的二进制格式存储它，因为它需要更少的资源并且速度很快，但是我想对文件添加压缩。我猜我将受到 IO 限制，因此压缩在处理速度方面不会花费我太多。

我不知道如何进行压缩，因为我是一名学者而不是真正的程序员。我真的可以用一些手握住这个。

我可以将其写入二进制文件，如下所示：

其中 tbin 填充了 TradesBin 数据。

我现在如何向这些文件添加压缩？我只模糊地听说过 ZLO、Bzip2、zlib 和 Boost.IOStreams。非常感谢您的指导和建议！

谢谢！

如何使用 C# 压缩具有运行长度编码的图像？是否有任何可用的库来支持这一点？

游程编码是否仅适用于位图图像？如果是这样，我将如何使用 C# 将图像类型转换为位图？

我还想问一下他们在此之后生成的文件类型是什么，他们会保留他们的文件类型还是会有一个新的文件类型？

Possible Duplicate:
How to compress/decompress a long query string in PHP?

I have a huge amount of data inside my subquerystring for tracking needs.

I loose a lot of my data because of this too large url missinterpreted by clients or search engine or brower capability.

To avoid this problematics, I've decided to compress my querystrings into a smaller one. I've looked into the direction of xor, huffman, lzw & gzdeflate compression algorithm but I'm not satisfied for my url needs (I need to url encode after that...).

Questions :

• Do you know any other algorythm which can fullfill my needs ?
• Do you know which compression technics is the most efficient ?

More details:

• No Post/Session method possible.
• Every alphanumeric char can be inside the query string.
• I have around 30 parameters to compress

我的数据实际上并不是完全随机的。我正在寻找压缩遥测测量值，这些测量值往往在同一范围内（例如温度变化不大）。但是，我寻求一种适用于多种应用的解决方案，因此我可能会在一天发送温度，下一天发送电压，等等。

我想通过低数据速率卫星链路发送测量结果。SatCom 相当昂贵，所以我想尽可能地削减每一分钱。我不介意花费计算资源来打包和解包数据，因为没有什么是时间紧迫的（传输 192 个字节可能需要 30 秒）。

任何人都可以建议一种 FOSS 数据压缩方法，它会给我最大的遥测数据压缩吗？

值得尝试吗？我可以期待什么样的百分比收益？

抱歉，我无法更准确地了解数据的性质 - 只是一般的遥测测量，如温度、纬度/经度 GPS 位置、液体流速等。

我正在尝试搜索字符串中子字符串重复的最大数量，这里有一些示例：

如您所见，我只搜索连续的子字符串，这似乎是一个问题，因为所有压缩算法（至少我知道）都不关心连续性（LZ*），或者太简单而无法处理连续模式而不是单个数据项（RLE）。我认为使用后缀树由于同样的问题，

我认为有一些生物信息学算法可以做到这一点，有人知道这种算法吗？

编辑 在第二个示例中，可能存在多种连续模式的可能性（感谢Eugen Rieck的通知，请阅读下面的评论），但是在我的用例中，这些可能性中的任何一种实际上都是可以接受的。

所以更多细节：我开始写我的“学士学位论文”，这将是一些与图像压缩有关的东西

我想知道您是否知道任何尝试使用 PNG 格式的方波傅里叶级数（变换）作为滤波器而不是 haar 小波？会有什么好处吗？

如果您对我的论文有什么其他想法，那会有所帮助。我的时间范围是从现在到5-6月

我正在构建一个企业级 MVC ASP.NET 应用程序，它使用企业库 4.1 将大型对象存储到内存缓存中。

每个用户的对象大小范围为 18-22MB。任何时候都可能有 530 个并发用户。我有点担心内存中对象的大小。谁能建议我可以用来压缩内存中的对象的任何模式？我还没有看到任何文章提到 Ent Lib 4.1 是否支持开箱即用的压缩内存缓存。

减少缓存对象的数据大小不是一种选择，因为我们必须将 3 年的数据存储到内存中，以避免对 Web 服务的往返调用。

谢谢。

我有以下格式的整数序列：

每四个连续整数对应于单个记录的值。所以，我不能真正订购它们。

压缩此类文件的最佳方法是什么？

更新：

1-这些值彼此独立。每 4 个连续整数代表一条记录，例如：

CustomerId PurchaseId 产品 MoneySpent

每个都保存一个整数值。

2-理想情况下，我希望将其压缩为对象并保存在磁盘上。

谢谢

我的工作中有任务。用证书签署一些 *.doc 文件，因为工作流程与银行账户接近，所以我们需要签署文件。

有关客户/银行/他们的联系人等的一些信息包含在表中的 *.doc 文件中。

众所周知，新的 Word 格式使用 OpenXML，不使用二进制序列化，但不是旧的。

在这个项目中选择了 *.doc 格式，因为在俄罗斯（仍然是现在），并非不同城市的所有办公室（不是主要的）都使用旧的 Microsoft Office，那里不支持 *.docx 文字格式。

所以，这就是我们不使用 *.docx 的原因

问题是关于这种格式的二进制序列化/压缩算法的方法。由于法律规则，我需要了解确切的算法。

在俄罗斯，ISO 标准等产品有一种内部格式，其名称为 GOST (ГОСТ)，有些算法是允许的，有些是不允许的。

如果我们使用不允许用于银行文件交换的算法，我们可能会受到一些罚款，因为法律不仅允许将其用于商业目的。您可以在开发过程中使用它或用于个人使用，但不能用于商业。

这就是为什么我要询问在旧 Word 文档文件格式 *.doc 中使用的二进制序列化/压缩算法的确切方法。

我正在寻求有关如何更好地帮助压缩工具获得更好的无损压缩的建议。

我有许多大文件（>100meg），其中包含来自各种传感器的传感器读数。来自各种传感器的样本具有不同的位大小（16 位、24 位、32 位）和不同的频率（70Hz 到 250Hz）。使用我知道的常用压缩器（zip、gzip、bzip2），我可以获得大约 70% 的原始文件大小的压缩文件。在我看来，如果我可以告诉压缩工具这些字节是这种类型的样本，而这些字节是另一种样本类型，可能会有压缩增益，但我不知道有什么可以让我这样做。