5

当您使用Web.Page(Web.Contents('url')) 函数从网页中读取表格时,某些网站会由于换行不一致而导致错误。

DataSource.Error:服务器违反了协议。Section=ResponseHeader Detail=CR 后面必须跟 LF

似乎没有任何选项可以传递给 Web 函数来忽略这些错误。

此方法在短时间内有效,但无法保存/刷新:

let
   BufferedBinary = Binary.Buffer(Web.Contents("http://vote.sos.ca.gov/returns/president/party/democratic/county/all")),
   CleanedUp = Text.Replace(Text.Replace(Text.FromBinary(BufferedBinary), "#(cr,lf)", "#(lf)"), "#(lf)", "#(cr,lf)"),
   Table = Web.Page(CleanedUp)
in
   Table
4

1 回答 1

4

它可能看起来像其他代码示例一样有效,但这可能意味着它还没有运行。


这两个库函数Web.Contents('url')Web.Page(Web.Contents('url'))使用不同的 HTTP 客户端。

Web.Contents使用一个非常基本的 HTTP 客户端,但Web.Page通过非转换Web.Contents将改为使用 IE 浏览器直接加载 URL。IE 对任何 HTTP 协议错误都非常宽容,但基本的 HTTP 客户端要严格得多,这会导致您看到的错误。

通过调用Binary.BufferText.Replace在“之间”,将跳过Web.Page直接使用浏览器的优化,而是用于Web.Contents发出 Web 请求,然后将这些字节加载到浏览器中。

因此,在这种情况下,如果您调用:

Web.Page(Web.Contents("http://vote.sos.ca.gov/returns/president/party/democratic/county/all"))

你会得到一个很好的结果表,但是“From Web”会被破坏,因为Web.Contents('url')它本身会出错。


由于您共享了 URL,我可以尝试http://vote.sos.ca.gov/returns/president/party/democratic/county/all并遇到同样的问题。

根本问题是 HTTP 响应标头中的第四个 cookie 中间有一个无效的十六进制字符 0x01:

坏十六进制

也许这是http://vote.sos.ca.gov/可以在他们的服务器上修复的东西?我尝试在他们的联系我们页面上提交“错误报告”,但我不确定这是正确的渠道......


顺便说一句,我们的 HTTP 客户端库没有给出很好的错误消息,CR 或 LF 字符没有任何问题。即使有,Text.Replace在这种情况下,响应正文也无法解决任何问题,因为问题出在 HTTP 响应标头中。

于 2016-06-17T06:25:16.193 回答