compression - 是否可以使用自然语言处理压缩文本？

Question

我正在考虑使用最常用的英语单词压缩大块文本，但现在我怀疑它是否有效，因为 lzw 似乎以更好的方式实现了这一点。

尽管如此，我还是无法摆脱逐个压缩字符有点“野蛮”的感觉，因为可以通过分析句子的结构来更好地将其组织成更小的数据块，而解压后的结构并不完全相同，它可以使用经典的压缩方法。

“基本” NLP 是否允许这样做？

Answer 1

自然语言处理？

标准压缩技术可以应用于单词而不是字符。这些技术将根据前面的单词为下一个单词分配概率。但我在实践中没有看到这一点，因为单词比字符多得多，导致即使是低阶模型也使用过多的内存和过多的执行时间。