问题标签 [urlopen]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
4 回答
28202 浏览

python - 如何使用 urllib2.urlopen 发出没有数据参数的 POST 请求

我正在尝试使用 urllib2.urlopen 通过 Facebook Graph API 执行 GET 和 POST 请求。我从这里注意到:https ://stackoverflow.com/questions/2690723/facebook-graph-api-and-django 我可以很容易地执行 GET 请求。

从这里开始:如何使用 django 发送 POST 请求?和 Python 文档http://docs.python.org/library/urllib2.html似乎它需要数据参数来执行 POST 请求。

但是看看 Facebook 的 API:http: //developers.facebook.com/docs/reference/api/event/#invited它说

您可以通过向 /EVENT_ID/invited/USER_ID 发出 HTTP POST 来邀请用户参加活动

我不确定如何使用 urlopen 做到这一点,因为直接打开此 url 只会检查用户是否已被邀请,如 API 页面所述:

您可以通过向 /EVENT_ID/invited/USER_ID 发出 HTTP GET 来检查特定用户是否已被邀请参加活动:

欣赏输入。

0 投票
2 回答
10625 浏览

python - Urllib.urlopen() 在一台机器上使用 Python 2.6.6 处理 SSLv3 url,但在另一台机器上不使用 2.6.7/2.7.2

花了一天的大部分时间在这上面,我真的不知所措。我有一台安装了 Python 2.6.6/2.7.2 的机器“A”,另一台安装了 Python 2.6.7/2.7.2 的机器“B”。

在机器 Aurllib2.urlopen('https://fed.princeton.edu')上,我可以使用 Python 2.6.6 而不是 2.7.2获得 SSLv3 加密的网站。

在机器 B上,我无法使用任一 Python 版本获取该网站。

不能得到,我的意思是我得到了错误:

首先,我很困惑,在较早的 Python 版本上工作的东西在机器 A 上不能工作。我也很困惑,在 2.6.6 上工作的东西不能在 2.6.7 上工作(尽管在不同的机器上)。为什么会这样?

现在我不确定 Python 的配置在两台机器上是否完全相同,但适用于两台机器上的所有版本import _sslimport httplib; httplib.HTTPSConnection我也在两台机器上都试过了curl -v https://fed.princeton.eduopenssl fed.princeton.edu:https这些命令都可以工作。

我也做了一些研究,发现如何使用 urllib2 来获取使用 SSLv3 加密的网页,作者似乎已经放弃了 urllib 用于 libCurl(我宁愿不使用,因为我使用的是 django-cas,它使用 urllib而且我不想过多地摆弄该代码)。


注意:我刚刚找到http://bugs.python.org/issue11220,最后一个帖子的解决方案允许我使用 urlopen 打开网站。但是我如何使用他们的解决方案(似乎是使用urllib2.install_opener(urllib2.build_opener(HTTPSHandlerV3()))?)来解决我在 django-cas 中的 urlopen() ?

0 投票
1 回答
3776 浏览

python - Python - 字符编码和解码问题

  • 我有 1 个带有 utf-8 字符(名称)的源文件
  • 我有 1 个具有相同字符编码的输出文件。
  • 我正在处理一个 html 页面,将有用的信息粘贴并剪切到文件中。
  • 我在“friendsNames”txt 文件中使用“éáűúőóüöäđĐ”字符。

我给出了这个错误:

你怎么看?我的问题是什么?

0 投票
2 回答
2133 浏览

python - 如何在 Python 中请求主域名(不是参数)上带有非 unicode 字符的 url?

我无法使用 urllib2.urlopen() 请求 url“http://www.besondere-raumdüfte.de”。
我尝试使用带有 utf-8、idna、ascii 的 urllib.urlencode 对字符串进行编码,但仍然无法正常工作。
提高URLError: <urlopen error unknown url type

0 投票
1 回答
299 浏览

beautifulsoup - 无法从使用 urllib2.urlopen 获取的 Guardian 文章创建汤

当相同的代码适用于另一个 url 时,我不知何故无法从我使用 urllib2.urlopen() 获取的 Guardian 文章中创建汤。这是我的代码:

这会触发以下错误:

回溯(最近一次调用最后):文件“/home/myhome/workspace/guardiangrep/testing.py”,第 13 行,soup = BeautifulSoup(数据)文件“/usr/lib/python2.7/site-packages/beautifulsoup4 -4.0.2-py2.7.egg/bs4/ init .py”,第 168 行,在init self._feed() 文件“/usr/lib/python2.7/site-packages/beautifulsoup4-4.0.2-py2 .7.egg/bs4/初始化.py”,第 181 行,在 _feed self.builder.feed(self.markup) 文件“/usr/lib/python2.7/site-packages/beautifulsoup4-4.0.2-py2.7.egg/bs4/builder/ _htmlparser.py”,第 133 行,在提要 parser.feed(markup) 文件中“/usr/lib/python2.7/HTMLParser.py”,第 108 行,在提要 self.goahead(0) 文件中“/usr/lib/ python2.7/HTMLParser.py”,第 148 行,在 goahead k = self.parse_starttag(i) 文件“/usr/lib/python2.7/HTMLParser.py”,第 229 行,在 parse_starttag endpos = self.check_for_whole_start_tag(i ) 文件 "/usr/lib/python2.7/HTMLParser.py",第 304 行,在 check_for_whole_start_tag self.error("malformed start tag") 文件 "/usr/lib/python2.7/HTMLParser.py",第 115 行, 错误引发 HTMLParseError(message, self.getpos()) HTMLParser.HTMLParseError:格式错误的开始标签,第 3025 行第 16 列

我了解标题在这种情况下可能是有用的信息。如果我添加

我明白了

服务器:Apache X-GU-jas:05-1559 变化:Accept-Encoding,User-Agent X-GU-gen-jas:05 Content-Type:text/html;charset=UTF-8 P3P: CP="CAO CURa ADMa DEVa TAIa PSAa PSDa IVAa IVDa CONa TELa OUR IND ONLi UNI PURi NAV STA PRE LOC" Date: Fri, 30 Mar 2012 09:10:54 GMT X-GU-PageRenderer: DefaultPageRenderer Keep-Alive: timeout=5, max=70 Transfer-Encoding: chunked X-GU-tm: 01 Content-Language: en-US Connection: close X-GU-httpd: 05

非常感谢任何帮助。

编辑:恢复到 BeautifulSoup 3 似乎纠正了这个问题。令人费解!

0 投票
5 回答
20973 浏览

python - 使用带有 JSON 的 urlopen.read 中的“类似字节的对象”?

只是试图测试非常简单的 Python JSON 命令,但我遇到了一些麻烦。

应该输出

但我得到了相同的字符串,b前面有一个:

随后,当我尝试运行

它给了我错误信息:

TypeError:不能在类似字节的对象上使用字符串模式”

我假设这与b

urlopen从导入urllib.request,并且正在运行 Python 3。

有任何想法吗?

0 投票
4 回答
58303 浏览

python - 在url中传递变量?

所以我是 python 新手,我迫切需要帮助。

我有一个文件,其中有一堆用它们写的 id(整数值)。它是一个文本文件。

现在我需要将文件中的每个 id 传递到一个 url 中。

例如“https://example.com/[id]”

会以这种方式完成

这基本上会做的是,它将读取有关上述 url 中存在的 id 的某些信息并显示它。我希望它以循环格式工作,其中它将读取文本文件中的所有 id 并将其传递给“A”中提到的 url 并连续显示值..有没有办法做到这一点?

如果有人可以帮助我,我将不胜感激!

0 投票
2 回答
160 浏览

python - urlopen 总是检索相同的网页

我正在尝试使用 urllib2、BeautifulSoup 和 Python 2.7 解析网页。

问题出在上游:每次我尝试检索一个新网页时,我都会得到我已经检索到的那个。但是,我的网络浏览器中的页面有所不同:请参见page 1page 2。循环页码有问题吗?

这是一个代码示例:

0 投票
2 回答
1158 浏览

python-3.x - HTTPConnection.request 失败但 urllib.request.urlopen 有效?

我已经被困在这里很长一段时间了,但找不到任何有用的东西。我正在尝试连接到一个网站并在 Python3 中获取响应 json 文件。代码如下所示:

这实际上不会返回 json 文件,而是返回网页http://host.address/a/b/c,这是一个错误页面。但是,在使用以下代码时:

它正确返回 json 文件。知道代码有什么问题吗?

谢谢

0 投票
1 回答
3810 浏览

python - 页面加载完所有搜索结果后如何使用python urlopen抓取?

我正在尝试使用 python3 和 BeautifulSoup从http://flight.qunar.com/抓取机票信息(包括飞机信息和价格信息等) 。下面是我正在使用的 python 代码。在这段代码中,我试图在 2012 年 7 月 25 日从北京(北京)到丽江(丽江)抓取航班信息。

我得到的是提交请求后的初始页面,该页面仍在加载搜索结果。我想要的是完成加载搜索结果后的最后一页。那么如何使用 python 实现这个目标呢?