2

注意：有关此问题的更多答案，请参阅 Google Calculator 中的特殊字符

我注意到在获取 Google Calculator 计算的返回值时，千位被一个相当奇怪的字符隔开。它不仅仅是一个空间。

让我们以将 4,000 美元兑换成英镑为例。

如果您访问以下 Google 链接：

http://www.google.com/ig/calculator?hl=en&q=4000%20usd%20to%20gbp

您会注意到响应是：

{lhs: "4000 U.S. dollars",rhs: "2 497.81441 British pounds",error: "",icc: true}

这看起来很合理，千位似乎被一个空白字符隔开。

但是，如果您在命令行中输入以下内容：

curl -s "http://www.google.com/ig/calculator?hl=en&q=4000%20usd%20to%20gbp"

您会注意到响应是：

{lhs: "4000 U.S. dollars",rhs: "2?498.28243 British pounds",error: "",icc: true}

问号 (?) 是替换字符。到底是怎么回事？

AppleScript 返回一个不同的替换字符：

{lhs: "4000 U.S. dollars",rhs: "2†498.28243 British pounds",error: "",icc: true}

我也从其他来源获得：

{lhs: "4000 U.S. dollars",rhs: "2�498.28243 British pounds",error: "",icc: true}

事实证明 � 是正确的 Unicode 替换字符 65533。

谁能让我深入了解谷歌传递给我的信息？

4

3 回答 3

3

这是一个不间断的空格，U+00A0。这是为了确保数字不会在一行的末尾被打破。

但是，Google 会返回正确的编码 (UTF-8)：

Content-Type: text/html; charset=UTF-8

所以 ...

  • 如果它以普通空格 (U+0020) 的形式出现（Firefox 在复制时会这样做，这很愚蠢），那么应用程序会将某些字符转换为相似字符，可能是为了适应某种受限代码页（可能是 ASCII） .
  • 如果有问号，则它被正确读取为 Unicode，但处理中的某些部分使用不包含该字符的旧字符集，因此它被转换。
  • 如果有替换字符 � (U+FFFD)，那么它很可能被读取为 UTF-8，转换为包含该字符的旧字符集（例如拉丁语 1），然后重新解释为 UTF-8。
  • 如果有一个完全不同的字符，例如你的匕首（†），那么我猜响应被正确读取为 Unicode，被转换为包含该字符的字符集并在另一个字符集中重新解释。快速浏览一下Mac Roman代码页会发现 A0 确实映射到 †。

不用说，无论您在处理该响应时使用的任何部分，就 Unicode 而言似乎都被严重破坏了。我希望在这个千年里不会经常发生的事情，但显然它仍然会发生。

通过在 PowerShell 中摆弄一下，我弄清楚了它是什么：

PS Home:\> $wc = new-object net.webclient
PS Home:\> $x = $wc.downloadstring('http://www.google.com/ig/calculator?hl=en&q=4000%20usd%20to%20gbp')
PS Home:\> [char[]]$x|%{"$_ - " + +$_}
...
" - 34
2 - 50
  - 160
4 - 52
9 - 57
8 - 56
. - 46
2 - 50
8 - 56
2 - 50
4 - 52
...

还快速查看响应标头显示编码设置正确。

于 2012-10-10T20:44:05.883 回答
2

根据我curl在OSX终端上的测试，通过更改终端首选项中的国际字符编码：编码是 iso latin 1。

当我将编码设置为 UTF8 时：我得到“2?498.28243”

当我将编码设置为 MacRoman 时：我得到“2†498.28243”

第一个解决方案：使用任何浏览器的用户代理（本例中为 OSX 10.6.8 上的 Safari）

curl -s -A 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.48 (KHTML, like Gecko) Version/5.1 Safari/534.48' 'http://www.google.com/ig/calculator?hl=en&q=4000%20usd%20to%20gbp'

第二种解决方案：使用iconv

curl -s 'http://www.google.com/ig/calculator?hl=en&q=4000%20usd%20to%20gbp' |  iconv -t utf8 -f  iso-8859-1
于 2012-10-10T23:47:49.310 回答
0

尝试

set myUrl to quoted form of "http://www.google.com/ig/calculator?hl=en&q=4000%20usd%20to%20gbp"
set xxx to do shell script "curl " & myUrl & " | sed 's/[†]/,/'"
于 2012-10-10T20:36:34.557 回答