2

我的脚本抓取一个 rss 页面的内容，获取该页面中的 url，将它们保存到一个列表中，然后它抓取每个 url 的内容，并将页面的内容通过电子邮件发送给我。一切运行良好接受我无法发送列表中的每个链接。通常列表中有大约 22 个链接。我不想将多个链接的内容合并到一封电子邮件中。如果我不添加超时，我会收到这样的超额错误

<class 'google.appengine.runtime.apiproxy_errors.OverQuotaError'>: The API call mail.Send() required more quota than is available.

在我添加“time.sleep(9)”以减慢它的速度后，它给了我这个错误。

<class 'google.appengine.runtime.DeadlineExceededError'>: 
Traceback (most recent call last):

这是我的代码..有什么想法吗？

size = len(my_tabletest)
a=2 
while a < size:
  url = my_tabletest[a].split('html</link>')[0] + "print"
  url_hhhhhh = urlfetch.fetch(url)
  my_story = url_hhhhhh.content
  my_story = my_story.split('<div class="printstory">')[1]
  my_story_subject = my_story.split('<h1>')[1]
  my_story_subject = my_story_subject.split('</h1>')[0]
  my_story =  ''.join(BeautifulSoup(my_story).findAll(text=True))
  message = mail.EmailMessage(sender="me<me@someplace.com>",
  subject=my_story_subject)
  message.to = "Jim <me@someplace.com>"
  message.body = my_story
  message.html = my_story_html
  message.send()
  time.sleep(9)
  a=a+1
4

1 回答 1

6

欢迎来到堆栈溢出！

任务队列就是为了解决这个问题而建立的。您可以使用延迟库对现有代码进行最小的更改来利用它：

而不是打电话message.send()，做这样的事情：

def send_email(message):  
  message.send()

deferred.defer(send_email, message)

这将创建一批临时任务，在您的主请求处理程序返回后在后台发送您的电子邮件。其中一些任务可能会在第一次尝试时失败，因为您的应用程序达到了出站邮件的短期配额限制。没关系; 失败的任务将自动退出并重试，直到成功。

编辑：哦，去掉sleep你的代码。=)

编辑#2：您可以通过将 urlfetch 移动到任务中来进一步加快速度，因此每个任务都会获取一个 URL，然后发送一封电子邮件。在一个请求处理程序中获取 22 个 URL 可能足以导致超时，与发送邮件无关。

于 2011-05-01T01:21:51.400 回答