我的问题类似于这里提出的问题: https ://stackoverflow.com/questions/14599485/news-website-comment-analysis 我正在尝试从任何新闻文章中提取评论。例如,我在这里有一个新闻网址: http ://www.cnn.com/2013/09/24/politics/un-obama-foreign-policy/ 我正在尝试在 python 中使用 BeautifulSoup 来提取评论。但是,评论部分似乎嵌入在 iframe 中或通过 javascript 加载。通过firebug查看源代码并不会泄露评论部分的出处。但是通过浏览器的查看源功能明确查看评论的来源。如何提取评论,尤其是当评论来自嵌入在新闻网页中的不同 url 时?
这是我到目前为止所做的,尽管这并不多:
import urllib2
from bs4 import BeautifulSoup
opener = urllib2.build_opener()
url = ('http://www.cnn.com/2013/08/28/health/stem-cell-brain/index.html')
urlContent = opener.open(url).read()
soup = BeautifulSoup(urlContent)
title = soup.title.text
print title
body = soup.findAll('body')
outfile = open("brain.txt","w+")
for i in body:
i=i.text.encode('ascii','ignore')
outfile.write(i +'\n')
对于我需要做什么或如何去做的任何帮助将不胜感激。