问题标签 [alexa]

我正在尝试编写一个脚本来抓取当前排名前 10 的 PR/Alexa 网站。因为 PR/Alexa 经常变化。所以我的脚本应该解决这个问题我的意思是如果今天没有前 10 名的网站但明天可能会出现。

我不知道如何开始。我知道爬行概念，但在这里我被卡住了。可能有前 50 个站点甚至前 500 个站点。我当然可以配置。

我读过关于谷歌蜘蛛的文章，但对于这个简单的任务来说它非常复杂。Google、Yahoo、Bing 如何在网络上抓取数十亿个网站。我只是好奇。什么是光标点，我的意思是谷歌如何识别新的启动站点。

好的，这些都是非常深刻的细节，我稍后会读到这些。现在我更关心我的问题。我如何爬取前 10 名 PR 网站。

你能提供一个示例程序以便我更好地理解吗？

我正在使用 Alexa 的 API（URLInfo函数）来检查某些域的 Alexa Rank。这适用于大多数 URL，但是当我使用一个太新而无法获得 alexa 排名的 URL 时，它会返回给我主域的 alexa 排名。

例如，当检查http://example.blogspot.comorhttp://example.wordpress.com等​​时，如果域没有 Alexa rank，它会分别返回 和 的 Alexa http://wordpress.comrank http://blogspot.com。

有什么办法可以避免这种情况发生吗？

我拥有一个域和主机超过2 年。我在Alexa排名中没有数据。我在 Alexa 上声明了我的网站一个多月。但我仍然没有数据。我应该使用特殊技术让我的网站在 Alexa 中被索引吗？

如何禁用和删除subdomain.domain.com被爬取并列出到 alexa 和其他爬虫？特别是我的 alexa 信息页面中列出的和烦人的 :/ cpanel.domain.com。webmail.domain.com

我只是通过我的服务器的 php 文件的 phpinfo() 的输出。我遇到了一个名为的 php 变量

这个变量有什么用？这与alexa工具栏有什么关系？

谢谢

我在 AWS 论坛上问过这个问题，但得到了很多意见但没有评论，我想知道这里是否有人可以对此有所了解？

嗨，我已经尝试编写一个简单的 C# 控制台应用程序来调用 topsites 服务两天了，但仍然遇到签名生成问题。

我已经使用库中的 java 示例进行了测试，并且可以使用我的 accesskeyid 和 secret 成功查询。然后，我使用我的 C# 代码来证明我可以生成相同的签名，并且我的代码会这样做，但是当我随后制作一个请求并针对 api 发出它时，每个人都会返回 403 状态 - 签名不匹配 - 请有人帮忙我找出问题所在？我用这个把头发扯掉了。

C#代码：

生成的请求（来自 Fiddler）： GET http://ats.amazonaws.com/?AWSAccessKeyId=REMOVED&Action=TopSites&Count=10&CountryCode=&ResponseGroup=Country&SignatureMethod=HmacSHA256&SignatureVersion=2&Start=1001&Timestamp=2014-11-20T16:57:52.422Z&Signature=vdKOotQYRmo%NYJJL3ecrGEcGAotQYRmo%XJevzL3ecRGY9 3D HTTP/1.1 主机：ats.amazonaws.com 连接：Keep-Alive

响应：HTTP/1.1 403 禁止服务器：Apache-Coyote/1.1 传输编码：分块日期：2014 年 11 月 20 日星期四 16:57:52 GMT

16d SignatureDoesNotMatch我们计算的请求签名与您提供的签名不匹配。检查您的 AWS 秘密访问密钥和签名方法。有关详细信息，请参阅服务文档。84291dc8-a35e-7dc3-7cc1-56fe20b5b236 0

我正在使用下面的这段代码从 Alexa API 检索信息，这段代码在 Python 2.7 上运行良好，但我必须使用 Python 2.6，它给了我一个错误：findall() 正好需要 2 个参数（给定 3 个）

我认为这个方法在 Python 2.7 中有变化，但我不知道如何让它在 2.6 中工作。

感谢您的帮助。

我指的是Alexa Top Sites Developer Guide并使用他们的示例代码，包括 PHP 和 Ruby。我收到以下SignatureDoesNotMatch错误：

我用同一个用户尝试了两个不同的访问密钥并注册了 Alexa Web Information Service，但没有运气。我在 Mac OS 10.9 和 10.10 上都尝试了这些脚本，我的时间设置被设置为自动更新。

在 PHP 代码中，这是生成签名的部分：

我不确定我做错了什么。

我不知何故无法从 AWIS 结果（包含 Alexa 数据）中提取信息。

我有一堆XML包含 AWIS 数据的文件，我想从中提取信息位，例如Rank和PageViews for 3 month period。

这两个（冲突的）命名空间在某种程度上令人困惑，我的XPath表达式没有按预期工作。（即使是简单//aws:Rank/text()的也不行。）

如果有人可以帮助我继续前进，那就太好了。

目前，我正在使用jdom库，但不介意使用其他东西。这是一个小例子，不能像怀疑的那样工作：

虽然我更喜欢使用javax.xml...

这是一个示例XML：

我们正在开发一个带有 SDK 的 android 应用程序版本的网站，我们正在用标准 PHP 对网站进行编码，并为我们的 android 应用程序创建一个 RESTful Web 服务。问题是我们的应用程序如何影响我们网站的排名？

例如：Instagram 的大多数用户（如果不是全部的话）使用智能手机应用程序版本而不是实际网站，但他们的网站在 Alexa 中的排名是全球第 35 位。排名不是基于浏览器工具栏扩展中隐藏的一些工具吗！！？