ruby - 使用 Ruby WWW::Mechanize 时忽略 Iconv::IllegalSequence

Question

使用 mechanize lib 时，我在某些网页上遇到了 Iconv::IllegalSequence 错误。有没有办法让机械化只是省略错误编码的字符并返回“剪切”页面？我知道相关的线程，但我宁愿丢弃页面上的一些字符，然后重新实现编码猜测。TIA

Answer 1

解决方案是将 util.rb 中的第 40 行从

Iconv.iconv(code, "UTF-8", s).join("")

到

Iconv.iconv("#{code}//IGNORE", "UTF-8", s).join("")

或者

Iconv.conv("#{code}//IGNORE", "UTF-8", s)

Answer 2

更好的解决方案不是更改 util.rb 的来源，而是在您自己的代码中添加类似的内容：

Mechanize::Util.send(:define_method, 'self.encode_to' ) { |*args|
  encoding = args[0]
  str = args[1]

  if NEW_RUBY_ENCODING
    str.encode(encoding)
  else
    Iconv.conv(encoding.to_s + '//IGNORE', "UTF-8", str)
  end

}