1

我最近在我的网站上安装了 Sphider，这样做很简单，索引页面也很简单，但是我遇到了一个小问题。

我的网站上有很多（严重加载）页面，其中很多没有被编入索引。我有一个页面，它需要一个 .csv 文件并使用 PHP 中的 foreach 循环创建一个表，第一列是每个项目的超链接，并带有该项目的专用页面。我的问题出现了，Sphider 不索引这些单独的页面，它只索引表格页面。我在正确的二和八，因为我不知道为什么这些页面没有被索引。

我检查了是否有，但我没有，我什至设置 Sphider 索引表中随机的单个页面，它出现在搜索中。我会对所有页面都这样做，但每次我们得到一个新项目时我都会不断添加新页面，所以我会被要添加到索引列表的东西淹没。

我的问题来了：是否有一些解决方案可以让我有一个脚本，将每个 URL 添加到 Sphider 的数据库中，因为这似乎使它们出现；或者我是一个完整的 div 并且在这里遗漏了一些非常明显的东西，因为 .csv PHP 表出现了问题，也许？

我真的很感谢你的帮助，因为我完全糊涂了。

谢谢，卡蒂

PS，包含 tl 的标准是什么；博士？这仅适用于Redditors吗？:P

4

2 回答 2

2

当我第一次开始使用 Sphider Search 时，我遇到了类似的问题，当我尝试在我的网站上抓取一个文件夹时，例如。www.mysite.com/myfolder 包含 900 个不同的 html 页面，它只会在数据库 1 链接中蜘蛛/列出 www.mysite.com/myfolder。

我发现如果 sphider 在所述文件夹中有“index.html”或“home.html”或“index.php”文件，它不会蜘蛛整个目录。

所以我暂时删除了我的 index.html 文件，成功爬取了所有 900 个 html 文件。然后重新上传了我的 index.html

如果 index & home html files 不是原因，可能是您的 Spidering Link Depth Settings 不够高。

最后，Sphider 搜索尊重标签中的 rel="nofollow" 属性，因此它也不会索引所述链接。

希望这可以帮助。

于 2014-10-09T20:34:32.603 回答
2

如果您的页面包含少于 3 个单词，则默认情况下 sphider 无法索引。你必须改变

/sphider/settings/conf.php

根据您的要求。

$min_words_per_page=0;
于 2015-01-20T07:36:51.623 回答