问题标签 [apache-httpcomponents]

我正在构建一个简单的网络抓取工具，我需要获取同一页面几百次，并且页面中有一个动态属性，并且应该在每次请求时更改。我已经构建了一个基于多线程 HttpClient 的类来处理请求，并且我正在使用一个ExecutorService来创建一个线程池并运行线程。问题是动态属性有时不会在每个请求上发生变化，我最终会在 3 或 4 个后续线程上获得相同的值。我已经阅读了很多关于 HttpClient 的内容，但我真的找不到这个问题来自哪里。可能是关于缓存的东西，或者类似的东西！？

更新：这是在每个线程中执行的代码：

对这里实际上可能发生的事情有点困惑。

Java Apache HTTP Client (4.x) 可以链接代理吗？关于如何做的任何提示？

我发现文档表明它可以，但来源有点复杂，我发现至少有一个类 ( DefaultRequestDirector) 会引发异常；

使用单个代理配置客户端很简单

但对我来说如何设置代理链并不明显。如果我遵循上面文档中的提示，我会执行以下操作。

但这会导致上述异常；

我正在使用 HttpClient 登录网页。该网页将我重定向到另一个页面。

我已经通过以下代码处理了重定向：

我使用 httpClient 4.1.3 jar 和 httpCore 4.1.4 jar。我的 java 编译器版本是 1.5。

我收到以下错误：

谁能帮助我。我查看了以前的 stackover flow 问题并将我的编译器更改为 1.3 版并进行了检查，但它仍然给了我同样的错误。我将 httpCore 更改为 4.0 版并进行了检查，但它仍然给了我同样的错误。

如果您需要任何其他信息，请告诉我。

谢谢你。

我找不到关于 httpclient 4.1 的默认 httpParams 的任何文档？

当我执行 GET 时，默认的套接字超时是多少？

我需要与需要身份验证的不起眼的网络服务器交谈。如果我不提供凭据，则会显示一个登录表单。但是，如果我确实提供了未经请求的基本身份验证凭据，我会直接访问所需的内容。

wget直接支持这个：

现在我的问题是：如何使用 Apache 的 HTTP 组件在 Java 中进行下载？

这是我到目前为止所得到的。（还有一个代理，我使用-Y onin wget，并且我有一个匹配的https_proxy环境变量。）

但是，我只得到了登录表单页面，而不是实际的文档。我怀疑 DefaultHttpClient 不会以这种方式主动发送凭据wget。有没有办法让 Java 程序发送凭据？

已经尝试了几个小时将一般 POST 消息发送到服务器。我正在使用 HTTP 核心库。

所有标头似乎都正确组合，但不知何故，消息的正文（实体）被删除并且没有发送到服务器。调用“process”命令或相同的“preProcess”后会出现问题。注意：这实际上与官方 Apache 示例相同。将感谢任何建议。

如何将结果的编码设置为某个编码（尤其是对于德语变音符号 - ä ü ö ß）

这就是我所做的：

这只是一个例子。

结果包含奇怪的符号，例如

 � 1998-2012, Amazon.com, Inc. oder Tochtergesellschaften

编辑：

这是我正在使用的上述代码中某些元素的构造函数：

提前致谢

我有一个包含 HTTP 标头的字符串。我想把它变成一个 Apache HttpComponents HttpRequest 对象。有没有办法在不自己拆线的情况下做到这一点？

本教程：http ://hc.apache.org/httpcomponents-core-dev/tutorial/html/fundamentals.html#d5e56和 javadoc 没有说明那么多。

我处于一个奇怪的情况，我不知道发生了什么。

代码一直在工作，直到我将我的 Android SDK 升级到 r17。

代码能够编译，但在运行时Eclipse throws ClassNotFoundException()，在 findClass 方法下，在 PathClassLoader.class

没有找到的类是"org.apache.http.entity.mime.content.ContentBody" and "org.apache.http.entity.mime.content.StringBody"

我已经导入了最新的(4.1.3) http components jar file into project-> properties-> java build path-> add external jar,

并且还清除了我的项目 N 次，但似乎没有任何效果。

这是来自 logcat：

（抱歉粘贴乱七八糟，实际上只是来自 logcat 的 3 行）

我的 TargetSDK 是 API10，MinSDK 是 API8。

是什么原因？？

我想知道 BasicNameValuePair 是否允许重复键？