google-app-engine - 使用 Async UrlFetch 在 App Engine 上提取网页字符码

Question

关于确定文本文件和网页的字符编码的讨论很多。

对于网页，似乎最好/最简单的方法是使用一个库，该库将 Url 作为输入并返回正确编码的字符串。由于库正在获取文档，因此它可以使用 HTTP 标头来帮助确定编码。

1. http://htmlcleaner.sourceforge.net/download。
2. 你如何以编程方式在 Java 中下载网页
3. 使用java在网页中进行字符编码
4. http://docs.oracle.com/javase/6/docs/technotes/guides/intl/encoding.doc.html

如果我们想使用 UrlFetch 获取文档，特别是异步 api，最好的方法是什么，库？用于确定编码。

是否有任何库与异步 urlfetch 集成（或可以轻松修改以集成）？

Answer 1

URLFetch您将获得一个HTTPResponse可以使用的位置，getHeaders()以获取标题列表。查找Content-Type，对于网页，它应该类似于text/html; charset=UTF-8，charset您的字符集编码在哪里。