0

我看过这些以前的问题

我正在尝试整合来自网站的新闻和笔记。

知名新闻服务网站允许用户发表评论和观点。

我试图只获取没有用户评论的新闻内容。我尝试使用BeautifulSoup和html2text。但是用户评论包含在文本文件中。我什至尝试过开发一个自定义程序，但没有比上述两个有用的进展。

任何人都可以提供一些线索如何进行吗？

编码：

import urllib2
from bs4 import BeautifulSoup
URL ='http://www.example.com'
print 'Following: ',URL
print "Loading..."
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
identify_as = { 'User-Agent' : user_agent }
print "Reading URL:"+str(URL)    
def process(URL,identify_as):
    req = urllib2.Request(URL,data=None,headers=identify_as)
    response = urllib2.urlopen(req) 
    _BSobj = BeautifulSoup(response).prettify(encoding='utf-8')
    return _BSobj #return beauifulsoup object
print 'Processing URL...'
new_string = process(URL,identify_as).split()

print 'Buidiing requested Text'
tagB = ['<title>','<p>']    
tagC = ['</title>','</p>']
reqText = []
for num in xrange(len(new_string)):
    buffText = [] #initialize and reset
    if new_string[num] in tagB: 
        tag = tagB.index(new_string[num])
        while new_string[num] != tagC[tag]:
            buffText.append(new_string[num])
            num+=1
        reqText.extend(buffText)


reqText= ''.join(reqText)
fileID = open('reqText.txt','w')
fileID.write(reqText)
fileID.close()
4

1 回答 1

1

这是我使用 urllib 编写的一个快速示例，它将页面的内容获取到文件中：

import urllib
import urllib.request
myurl = "http://www.mysite.com"

sock = urllib.request.urlopen(myurl)
pagedata = str(sock.read())                          
sock.close()

file = open("output.txt","w")
file.write(pagedata)
file.close()

然后使用大量字符串格式，您应该能够提取所需的 html 部分。这给了你一些开始的东西。

于 2013-07-10T15:36:53.827 回答