0

我目前正在从 CommonCrawl 语料库中解析 WARC 文件,并且我想预先知道有多少条记录,而无需遍历所有 WARC 记录。

WARC 1.1 标准是否定义了此类信息?

4

1 回答 1

1

WARC 标准没有定义一种标准方式来指示 WARC 文件本身中的 WARC 记录数。Common Crawl WARC 文件中的响应记录数量通常在 30,000 到 50,000 之间 - 请注意,还有请求和元数据记录。WARC 标准建议将1 GB 作为 WARC 文件的目标大小,这对记录数进行了自然限制。

于 2021-01-24T12:59:18.830 回答