0

Facebook 刮板在阅读我的页面内容时会抛出一些奇怪的东西......

页面网址： http: //www.protagora.hr/Stranica/O-nama/9/

抓取调试输出： https ://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fwww.protagora.hr%2FStranica%2FO-nama%2F9%2F

为什么当我使用浏览器访问页面时一切正常，但爬虫无法访问相同的数据？

请帮忙。

4

1 回答 1

1

当我第一次尝试访问您的页面时，我得到了一个 php 错误而不是页面，然后我刷新了浏览器，错误消失了，页面被加载了。

然后我试着看看调试器说了什么，你是对的，它抱怨（警告而不是错误）没有以下标签：标题、网址和描述，即使在查看你的源代码时很明显所有标签都存在.

在调试器结果页面的底部有一个链接“Scraped URL: See exactly what our scraper sees for your URL”，当点击 facebook scraper获取的内容是：

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8">
<br><b>Fatal error</b>
</head>
<body><p>:  Call to a member function LoadContentData() on a non-object in <b>/home/protagor/public_html/WebSuite/Modules/WebCMS/Classes/Content.php</b> on line <b>65</b><br></p></body>
</html>

这是我最初看到的错误。

我不确定他们是否只是缓存了此错误，或者此错误是否仅在 facebook 机器人抓取您的页面时发生。通常使用调试器“强制”清除 facebook 缓存，新结果正在替换缓存中的旧结果。

您应该检查为什么会发生此错误。

于 2012-04-24T09:40:25.423 回答