问题标签 [bz2]

该文件是一个285.5 MB制表符分隔的整数表，其中~1.5M columns和~100 rows。gzipped文件大小是42.4 MBbz2 压缩的腌制pd.DataFrame是34.2 MB. 加载到 a 需要 45 分钟，pd.DataFrame这就是我要序列化的原因。

以这种方式腌制的对象的大小是否有限制？

我问的原因是我以完全相同的方式处理的另一个计数表正在完美打开。文件大小为unprocessed .tsv = 148.9 MB、 gzipped = 24.8 MB和bz2-zipped pickled .pbz2 = 19.8 MB。

唯一类似的问题，但答案无济于事： Python BZ2 IOError: invalid data stream

我有一个中等大小的 xml 文件（200MB，bz2），我正在使用 spark-xml 在具有 1 个主节点和两个核心节点的 AWS emr 集群上加载该文件，每个节点具有 8cpus 和 32GB RAM。

这种负载需要很长时间，据我所知，只用一个分区就可以完成。是否可以告诉 spark 在加载时对文件进行分区以更好地使用计算资源？我知道我可以在加载后进行分区。

我写了一个代码来读取 simple-text/bz2-compressed-file。我使用 bz2 文件的魔法字符来检测文件是否压缩

注意“用户可能会或可能不会提供具有适当扩展名的文件”

我的代码

这段代码有问题。在读取压缩文件时。它正在读取整个压缩文件。我不想将整个文件加载到内存中只是为了测试 file_type。

文件大小可能大于 4 GB

如果通过某种方式我可以找出文件类型，那么我这样做会很容易。

我不知道如何事先知道。或任何其他方法。

我有一个名为“input”的目录，其中包含许多 bz2 档案的子目录。像这样：

我正在尝试编写一个 Windows 批处理脚本来将每个存档的内容提取到一个新的“输出”文件夹中，同时保留内部文件结构，以便我们最终得到以下结果：

到目前为止，我有这个脚本：

提取有效，但不会将内容打包到它们的文件夹 1、文件夹 2 等中。

我觉得我需要为每个存档的父文件夹创建新文件夹，然后将其设置为输出目录。像这样的东西：

但是如何获得父文件夹名称的句柄？

下载 boost 1.66，解压缩，启动引导程序：

b2 报告：

构建期间没有错误，只有警告。我正在查看 /home/steve/boost_1_66_0/stage/lib，但没有名称中包含bz的文件。在 Windows 预构建的二进制文件上，我有：

结果，我的项目在 Windows 上构建良好，但由于缺少 bz2 依赖项而在 Linux 上失败。有任何想法吗？

我的 linux 是 ubuntu 14。

谢谢。

我在 python 中解压缩 bz2 文件时遇到了一些问题。我在 Windows 7 和红帽中遇到了同样的问题。两者都运行 Python 2.7 Anaconda 发行版。

当我读取 bz2 文件时，我只得到文件的前 900kBytes：

bz2.decompress 只给了我前 900000 个字节。s2几乎总是大于s。

无论我选择 Read hat 还是 Windows，这都是事实。

有人有线索吗 ？

谢谢

一切都在问题之中。

我使用 pytables 来处理 hdf5 文件。当我收到一个 hdf5.bz2 文件时，如果我先在文件管理器中解压缩它，我可以处理它。

我找不到使用 python 从 hdf5.bz2 文件中提取 hdf5 文件的正确方法，有人可以给我提示吗？

有没有办法直接用指令来做

添加一些参数？

非常感谢

我有一个字符串：

而且我要：

但我不断得到：

语境

我从网页上刮下一个字符串并将其存储在变量un. 现在我想用 BZip2 解压它：

但是，由于un是一个str对象，我收到此错误：

因此，我需要在un不将单个反斜杠更改为转义反斜杠的情况下转换为类似字节的对象。

编辑1： 感谢您的所有帮助！@wim我现在明白你的意思了，但我不知道如何从我的网络抓取方法中检索一个类似字节的对象：

我使用的包是requests、lxml.html、re和bz2。

再一次，我的目标是使用 解压缩un，bz2但我很难从我的网络抓取过程中获取字节类对象。

任何指针？

正如标题所说，我有几个文件夹，几个 .ppm.bz2 文件，我想将它们准确地提取到它们使用 python 的位置。

目录结构图片

我在文件夹中遍历是这样的：

`

然后我得到这个错误`

`

我以前下载http://www.bzip.org/1.0.6/bzip2-1.0.6.tar.gz
但是现在http://www.bzip.org/已经不存在了。