问题标签 [urlfetch]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
3990 浏览

python - 获取 url 时出现 UnicodeEncodeError

我在尝试使用 lxml 获取 HTML 文档中的所有文本节点时遇到了这个问题,但我得到了 UnicodeEncodeError: 'ascii' codec can't encode character u'\xe9' in position 8995: ordinal not in range(128)。但是,当我尝试找出此页面的编码类型 ( encoding = chardet.detect(response)['encoding']) 时,它说它是utf-8. 一个页面有 utf-8 和 ascii 似乎很奇怪。其实这个:

解决问题。

这是我的代码:

输出:

我能做些什么来解决这个问题?请记住,我想对其他几个页面执行此操作,因此我不想单独编码。

更新:

也许这里还有其他事情发生。当我在终端上运行这个脚本时,我得到了正确的输出,但是当在 SublimeText 中运行它时,我得到 UnicodeEncodeError...¿?

更新2:

当我使用此输出创建文件时也会发生这种情况。.encode('ascii', 'replace')正在工作,但我想要一个更通用的解决方案。

问候

0 投票
0 回答
864 浏览

google-apps-script - urlFetch 服务条款和配额 - 使用 Google Docs 监控网站正常运行时间

我一直在对监控网站的正常运行时间/停机时间的 Google Docs 电子表格(和底层脚本)进行改进。您可以在此处查看说明并复制电子表格:http: //agileadam.com/google-docs-uptime-monitor

我是一名网络开发人员,需要监控 199 个(数量将会增长)网站的正常运行时间。这是多年发展的积累——我们控制的所有网站。所以,我有一个 5 分钟的时间驱动触发器来运行我的函数,它遍历每个 URL 并使用 urlFetch 检查 HTTP 状态。

我有两个问题:

  1. 这是否违反了 Google 文档服务条款?

  2. 早上 5 点 57 分,我收到一条消息:“异常:一天内调用的服务次数过多:urlfetch。” 根据https://docs.google.com/macros/dashboard,我的帐户限制为 20,000。根据我的计算,我应该只有大约 14,000 次使用。为什么要轰炸我?

我将删除许多相似的域名(我想我不需要监视同一站点的 .com 和 .org),并且我已将触发器更改为每 15 分钟运行一次。这将大大减少执行次数。

0 投票
1 回答
632 浏览

java - 获取 URL 并保存到 Blobstore:AppEngine (java)

下面的方法将获取图像并将其保存在 GAE blobstore:

它以前在尝试获取 20 个图像 URL 时有效。一组新的 100 个图像 URL 有错误。我不确定是什么导致了错误,因为"URL: " + strUrl没有打印出来。

抛出错误时,页面重定向到appspot.com/_ah/upload/someString显示以下错误:

上面的代码有什么问题吗?我知道那fileService仍处于实验模式。我错过了什么吗?

0 投票
2 回答
2069 浏览

post - 使用 Google Apps 脚本创建 POST 正文

我正在尝试创建一个向用户的 Google 日历添加新所有者的 Google Apps 脚本。下面的第一个代码块可以正常工作(以 JSON 格式返回日历 ACL)。如何使用 Google Apps 脚本向 acl 添加新用户?第二个代码块显示了我尝试将新规则插入 acl。

这是返回服务器错误 400(“解析错误”)的第二个代码块:

0 投票
1 回答
384 浏览

python - 可以执行 Appengine urlfetch 或 urllib2 HEAD 请求吗?

你好堆栈溢出!

我了解 Python 的 urllib2 库可以执行 HEAD 请求:How do you send a HEAD HTTP request in Python 2?

这是否意味着如果我想做一个 HEAD 请求,我需要使用 urllib2?此外,appengine 上的 urlli2 是否可以执行 HEAD 请求(可疑,因为 urlfetch 似乎无法https://developers.google.com/appengine/docs/python/urlfetch/fetchfunction

非常感激!

0 投票
1 回答
3671 浏览

google-apps-script - 确定执行 UrlFetchApp 调用的节点的 IP 地址

对于通过 Google Apps 脚本中的 UrlFetchApp 调用 Web API,我必须提交 HTTP 客户端 IP(通过 HTTP-GET)以进行身份​​验证(namecheap.com API)。

有没有办法确定将执行 UrlFetchApp 调用以将其添加到查询 URL 的节点的 IP 地址?

0 投票
1 回答
82 浏览

java - urlFetch , Servlet 和线程

我正在用 Appengine-Java 开发一个 webapp。我是这个领域的新手,我很难过。

我目前正在使用循环。每个循环从列表中访问某个 isbn,然后通过 urlFetch 获取书籍的详细信息。我的问题是我想通过使用线程而不是循环来提​​高它的性能,但是 java 只支持一个超类,我不能扩展线程。有任何想法吗?

0 投票
4 回答
34168 浏览

google-apps-script - 如何捕获 UrlFetchApp.fetch 异常

有什么办法可以捕捉到异常UrlFetchApp.fetch吗?

我以为我可以response.getResponseCode()用来检查响应代码,但我不能,例如当出现 404 错误时,脚本不会继续,只是停在UrlFetchApp.fetch

0 投票
3 回答
1489 浏览

google-app-engine - URL Fetch 是否使用 GAE 的代理缓存?

我想知道,如果 Google App Engine 的服务URL Fetch使用代理缓存,这是在其他线程中讨论的?我的问题是:如果我在 GAE 上使用 URL Fetch 从我的应用程序向我的应用程序(到某个处理程序)发送请求,结果会缓存在这个代理中吗?

谢谢。

0 投票
1 回答
307 浏览

api - 服务验证失败:日历

我正在尝试创建一个 Web 应用程序,允许用户将自己作为所有者添加到日历中。我正在尝试将新规则插入日历的 ACL,但我无法获得使用访问日历 API 的权限。

在我授权脚本通过弹出的对话框运行后,我收到以下错误消息:“无法对服务进行身份验证:日历。”

我做错了什么?

}