0

我能够从网页中抓取大量数据，但我正在努力从具有完全相同属性和值的小节中提取特定内容。这是html：

   <li class="highlight">
     Relationship Issues
      </li>
   <li class="highlight">
     Depression
      </li>
   <li class="highlight">
     Spirituality
      </li>

                                            <li class="">
                                                           ADHD
                                                   </li>
                                           <li class="">
                                                           Alcohol Use
                                                   </li>
                                           <li class="">
                                                           Anger Management
                                                   </li>

使用该html作为参考，我有以下内容：

import requests
from bs4 import BeautifulSoup
import html5lib
import re

headers = {'User-Agent': 'Mozilla/5.0'}
URL = "website.com"


page = requests.get(URL, headers=headers)

soup = BeautifulSoup(page.content, 'html5lib')

specialties = soup.find_all('div', {'class': 'spec-list attributes-top'})

for x in specialties:
   Specialty_1 = x.find('li', {'class': 'highlight'}).text
   Specialty_2 = x.find('li', {'class': 'highlight'}).text
   Specialty_3 = x.find('li', {'class': 'highlight'}).text

所以理想的结果是：Specialty_1 = 关系问题；Specialty_2 = 抑郁症；Specialty_3 = 灵性

和

问题_1 = 多动症；问题_2 = 饮酒；问题_3 = 愤怒管理

将不胜感激任何和所有的帮助！

4

3 回答 3

0

如果您知道 xpath 将位于树中的相同元素结构中，则可以只使用它。大多数情况下，您可以右键单击 chrome devtools 中的元素来获取选择器和 xpath 字符串。

于 2020-10-23T05:23:57.337 回答
0

如果您想要可变数量的变量，请使用字典。例如：

from bs4 import BeautifulSoup


html_doc = '''   <li class="highlight">
     Relationship Issues
      </li>
   <li class="highlight">
     Depression
      </li>
   <li class="highlight">
     Spirituality
      </li>
'''

soup = BeautifulSoup(html_doc, 'html.parser')

out = {'Specialty_{}'.format(i): specialty.get_text(strip=True) for i, specialty in enumerate(soup.select("li.highlight"), 1)}

print(out)

印刷：

{'Specialty_1': 'Relationship Issues', 
 'Specialty_2': 'Depression', 
 'Specialty_3': 'Spirituality'}
于 2020-10-23T07:27:21.590 回答
0

您可以开发 Andrej 的字典理念并使用 if else 基于存在的类来确定前缀并扩展选择以包含附加部分。您需要重置新部分的编号，例如使用标志

results = {}
flag = False
counter = 1

for j in soup.select(".specialties-list li, .attributes-issues li"):
    if j['class']:
        results[f'Specialty_{counter}'] =  j.text.strip()
    else:   
        if not flag:
            counter = 1
            flag = True
        results[f'Issue_{counter}'] = j.text.strip()
    counter +=1 
        
print(results)
于 2020-10-23T06:37:34.260 回答