问题标签 [bz2]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
8341 浏览

linux - 如何在 linux 中将 tcpdump 捕获到压缩文件中

我有一个 DNS 服务器,我想捕获 DNS 流量以获取所有使用我的 DNS 服务器的 IP。

为此,我开始使用以下tcpdump命令并将它们捕获到文件中:

但是当我长时间运行时文件大小很高。如何将其捕获到压缩文件中?我尝试了以下命令,但它不起作用。

0 投票
2 回答
8007 浏览

apache-spark - Spark:在 .gz 和 .bz2 中读取时的差异

我通常使用.gz在Spark中读写文件,文件数应该与RDD分区数相同。即一个巨大的.gz 文件将读入单个分区。但是,如果我读入一个 .bz2,我还会得到一个巨大的分区吗?或者 Spark 会支持自动将一个 .bz2 拆分为多个分区吗?

另外,当 Hadoop 从一个 bz2 文件中读取它时,我怎么知道它会有多少个分区。谢谢!

0 投票
0 回答
689 浏览

java - 使用 Apache Commons Compress 读取大型压缩文件

我正在尝试使用Apache Commons Compress读取 bz2 文件。

以下代码适用于小文件。但是对于一个大文件(超过 500MB),它会在读取数千行且没有任何错误后结束。

还有另一种读取大型压缩文件的好方法吗?

0 投票
1 回答
1515 浏览

python-2.7 - 在 Python 中导入共享对象时遇到问题

我正在尝试将共享对象导入到我的 python 代码中,如下所示:

我收到以下错误:

ImportError:./bz2.so:无法打开共享对象文件:没有这样的文件或目录

使用 imp 模块,我可以验证 Python 是否真的可以找到它:

共享对象文件在我的 PYTHONPATH 和我的 LD_LIBRARY_PATH 中。

关于为什么我无法导入此共享对象的任何见解?谢谢!

0 投票
0 回答
275 浏览

apache-spark - 在 Spark 中高效摄取大型 bz2 文件

有没有办法在 Spark 中有效地摄取大型(例如 50 GB)bz2 文件?我正在使用 Spark 1.6.1,8 个执行器,每个执行器具有 30 GB 的 RAM。最初,每个执行器有 4 个核心。但是,使用 textFile() 打开 bz2 文件会引发 ArrayOutOfBoundsException。正如这里所报道的(和网络上的其他线程)http://apache-spark-user-list.1001560.n3.nabble.com/java-lang-ArrayIndexOutOfBoundsException-using-sc-textFile-on-BZ2-compressed-files -td22905.html,Hadoop 使用的 bz2 解压缩器不是线程安全的,这会在 Spark 这样的多线程环境中产生问题。为了解决这个问题,我将每个执行程序的核心数设置为 1,正如上面网页中所建议的那样,但这会减慢整体计算速度。

我正在使用 Hadoop 2.4.0.2.1.1.0-390。对此有任何想法吗?

谢谢,

马可

0 投票
3 回答
9727 浏览

python - tarfile compressionerror bz2 模块不可用

我正在尝试安装twis​​ted pip install https://pypi.python.org/packages/18/85/eb7af503356e933061bf1220033c3a85bad0dbc5035dfd9a97f1e900dfcb/Twisted-16.2.0.tar.bz2#md5=8b35a88d5f1a4bfd76200868fdd

这是一个django-channels项目,我遇到以下错误问题

显然我缺少bz2模块,所以我尝试手动安装它,但没有成功python 3.5,那么我该如何解决这个问题?

我已经按照@e4c5 的建议做了,但我这样做是为了python3.5.1,输出是

我在 Ubuntu 14.04 LTS 上,我已经从源代码安装了 python 3.5。

0 投票
1 回答
798 浏览

r - 提取 bz2 文件并使用 R 打开 ncdf

我正在尝试从 ftp 打开一个 bz2 压缩的 netcdf 文件,但无法正常工作。任何帮助深表感谢。

我尝试使用以下方法直接打开它:

但这不起作用(我得到:) Error in R_nc4_open: No such file or directory。我猜是因为压缩,所以我尝试先下载文件并解压缩。

但这也不起作用,我同时收到错误和警告:

有任何想法吗?

谢谢

0 投票
1 回答
2219 浏览

sorting - 列出 .tar.bz2 中的所有文件,按大小排序

我使用此命令列出存档中的所有文件:

如何按大小排序列出它们?还是只列出最大的文件(即大于 10MB 的文件)?

0 投票
0 回答
405 浏览

mysql - 将 basehansard.sql.bz2 导入 MySQL

如何将 basehansard.sql.bz2 导入 MySQL?我尝试将文件提取为 basehansard.sql(文本文件),但数据导入仍然有错误(ERROR 1193“Unknown system variable 'statement_timeout'”)。

数据源是http://www.lipad.ca/data/。我正在使用 Workbench 6.3 CE。

0 投票
1 回答
741 浏览

python - Python bz2 顺序压缩器在低压缩级别上产生无效数据流

我在名为“行”的列表中有一系列字符串,我将它们压缩如下:

当compressionLevel 设置为8 或9 时,这工作正常。当它是 1 到 7(含)之间的任何数字时,最后一行会失败并显示 IOError: invalid data stream。如果我使用顺序解压缩器,也会发生同样的情况。但是,如果我将字符串连接成一个长字符串并使用一次性压缩器功能,它可以正常工作:

您知道为什么会这样以及如何使其在较低的压缩级别下工作吗?