0

我正在做一个项目，从约 12,000 个 PubMed ID 的 CSV 文件中下载标题、摘要、出版年份和 MeSH 术语。我写了下面的代码：

import urllib2
from bs4 import BeautifulSoup
import csv

CSVfile = open('srData.csv')
fileReader = csv.reader(CSVfile)
Data = list(fileReader)
i = 0

with open('blank.csv','wb') as f1:
 writer=csv.writer(f1, delimiter='\t',lineterminator='\n',)
 for id in Data:
    soup = BeautifulSoup(urllib2.urlopen("http://www.ncbi.nlm.nih.gov/pubmed/" & id).read())
    jouryear = soup.find_all(attrs={"class": "cit"})
    year = jouryear[0].get_text()
    yearlength = len(year)
    titleend = year.find(".")
    year1 = titleend+2
    year2 = year1+1
    year3 = year2+1
    year4 = year3+1
    year5 = year4+1
    published_date = (year[year1:year5])

    title = soup.find_all(attrs={"class": "rprt abstract"})
    title = (title[0].h1.string)

    abstract = (soup.find_all(attrs={"class": "abstr"}))
    abstract = (abstract[0].p.string)
    writer.writerow([published_date, title, abstract])
    i = i+1
    print i

当我运行它时，我收到以下错误：

TypeError: unsupported operand type(s) for &: 'str' and 'list'

我怎样才能解决这个问题？我也遇到了一个问题，即年份和标题并写在同一个单元格中，但我需要将它们放在不同的列中。我能做些什么来解决这个问题？

4

1 回答 1

0

我不知道您的 srData.csv 文件是什么样子，但如果它只是一个 ID 列表，例如

27383269
27281200

您将使用id[0]代替id，否则您将连接 alist和 a string。

为了获取已发表的数据、标题和摘要，您可以使用以下代码行获取数据：

published_date = soup.find_all(attrs={"class": "cit"})[0].get_text().split('.')[1].split(';')[0].strip()
        title = soup.find_all(attrs={"class": "rprt abstract"})[0].h1.string
        abstract = soup.find_all(attrs={"class": "abstr"})[0].p.string
        writer.writerow([published_date, title.encode('ascii', 'ignore'), abstract.encode('ascii', 'ignore')])

日期有点棘手，需要从整个引文中提取，但所有其他的都可以直接读取。

Pubmed ID 的输出27383269：

2016 年 7 月 7 日基于分子动力学的 sub-5 低温电子显微镜图的改进和验证。两种结构确定方法，基于分子动力学柔性拟合 (MDFF) [...]

确保通过 删除非 ascii 字符encode，否则很多摘要和标题会给您带来错误。

于 2016-11-08T11:33:31.327 回答