0

我正在开展一个项目，该项目在每个 20 条记录的表中抓取大约 400,000 条记录。目前，我的脚本为页面创建了一个完整的 URL 列表，然后为每个 URL 打开页面，找到带有 BeautifulSoup 的表，并抓取每一行。当它刮取每一行时，它将该行写入 CSV：

def scrape_table(url):
    soup = get_soup(url)
    table = soup.find('table' , {'id' : 'BigTable'})
    for row in table.find_all('tr'):
        cells = row.find_all('td')
        if len(cells) > 0:
            name_bits = cells[0].get_text().strip().split(',')
            first_name = name_bits[0].strip()
            last_name = name_bits[1].strip()
            species = cells[1].get_text().strip()
            bunch = re.sub(u'[\xa0\xc2\s]+',' ',str(cells[5]),flags=re.UNICODE).strip()
            bunch_strings = list(BeautifulSoup(bunch).td.strings)
            weight = bunch_strings[1].strip()
            bunch_match = re.match("dob:(.*) Mother: \$(.*)",bunch_strings[2].strip())
            dob = date_format(bunch_match.groups()[0].strip())
            mother = bunch_match.groups()[1].strip()            
            row_of_data = {
                'first_name': first_name,
                'last_name' : last_name,
                'species'   : species,
                'weight'    : weight,
                'dob'       : dob,
                'mother'    : mother
            }
            data_order = ['first_name', 'last_name', 'dob', 'mother', 'weight', 'kesavan']
                csv_row(row_of_data,data_order,'elephants')
        else:
            continue

def csv_row(data,fieldorder,filename, base=__base__):
    full_path = __base__+filename+'.csv'    
    print "writing", full_path
    with open(full_path, 'a+') as csvfile:
        linewriter = csv.DictWriter(csvfile, fieldorder, delimiter='|',
                                quotechar='"', quoting=csv.QUOTE_MINIMAL)
        linewriter.writerow(data)

我想知道如果我一次将每一页结果写入 CSV 而不是写入每一行，这是否会更有效。还是会使用更多的 RAM 并减慢我计算机的其余部分？其他提高效率的方法？

4

1 回答 1

1 
with open(full_path, 'a+') as csvfile:
    linewriter = csv.DictWriter(csvfile, fieldorder, delimiter='|',
                            quotechar='"', quoting=csv.QUOTE_MINIMAL)
    linewriter.writerow(data)

是性能杀手。它必须为每一行构造文件名、打开文件、构造对象、将数据写入磁盘并再次关闭文件。这意味着它必须至少执行三个系统调用并等待磁盘驱动程序/控制器发出“文件关闭并成功刷新”的信号。

您应该尝试的是至少在整个过程中保持文件打开。其内存成本可以忽略不计。所以，

def scrape_table(url, linewriter):
    # do scraping to get data
    linewriter.writerow(data)

然后用

with open(full_path, 'a+') as csvfile:
    linewriter = csv.DictWriter(csvfile, fieldorder, delimiter='|',
                            quotechar='"', quoting=csv.QUOTE_MINIMAL)

    for url in a_bunch_of_urls:
        scrape_table(url, linewriter)

通常，使用更多 RAM 不会减慢任何速度。在 RAM 中缓存结果而不是重新计算它们可能是最常见的优化技术。

于 2012-11-26T21:08:07.810 回答