6

我正在尝试使用以下链接中的工具箱使用 python 打开一个warc文件： http ://warc.readthedocs.org/en/latest/

使用以下命令打开文件时：

import warc
f = warc.open("00.warc.gz")

一切都很好， f 对象是：

<warc.warc.WARCFile instance at 0x1151d34d0>

但是，当我尝试使用以下方式读取文件中的所有内容时：

for record in f:
     print record['WARC-Target-URI'], record['Content-Length']

出现以下错误：

Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Users/xxx/anaconda/lib/python2.7/site-packages/warc/warc.py", line 390, in         __iter__
record = self.read_record()
File "/Users/xxx/anaconda/lib/python2.7/site-packages/warc/warc.py", line 373, in read_record
header = self.read_header(fileobj)
File "/Users/xxx/anaconda/lib/python2.7/site-packages/warc/warc.py", line 331, in read_header
raise IOError("Bad version line: %r" % version_line)
IOError: Bad version line: 'WARC/0.18\n'

这是因为我正在使用的warc工具箱或其他东西不支持我的warc文件版本吗？

4

2 回答 2

6

ClueWeb09 数据集以 WARC 0.18 格式提供。但是，它有几个问题。有些记录格式不正确。

最普遍的问题是 WARC 标头中的额外换行符。还有一些其他格式错误的标头的情况。

此外，它不使用标准的 \r\n 行尾标记，这实际上是您的问题。

warc-clueweb 库可以处理它。这是一个特殊的 python 库，用于处理 ClueWeb09 WARC 文件。根据文档

仅对原始库进行了少量修改。warc 库的原始文档仍然存在

于 2015-01-08T13:58:13.433 回答
0

是的，感谢@eyelash 对此问题的解释。

实际上，Clueweb-09 中的一些记录格式不正确。但是官方的warc库和上面推荐的git repo warc-clueweb库都存在一些问题。

这个 fork repo 无法处理 Clueweb12 数据集，另一个问题是它在处理每个 .warc.gz 文件时可能会丢失 1-2 个文档。

所以我修改了一些代码来支持 Clueweb09 和 Cluewe12 数据集。这是我的 repo，它已经在 1000 亿页上进行了测试，我的 warc 工具从 warc-clueweb 库和官方 repo 中分叉和更改。

于 2016-07-08T07:10:38.037 回答