例如，是否有一个 API（Twitter API 不提供）可以用来确定 200 条推文中最常见的链接。我想做的是获取最新的 200 条推文，然后确定人们在谈论什么，我确信推文将包含链接（因为我会要求 twitter API 返回仅包含链接的推文）但我也会想确保我的代码能够理解两个 URL 是相同的，即使它们具有不同的 bit.ly 链接。
我想要做的（这可能会让你们更容易提供一些帮助）是我试图确定人们在这 200 条推文中谈论的最重要的主题是什么。我知道人们可能在谈论同一个故事，但提供了不同的链接，但是，我不确定是否有一种简单的方法可以理解这一点。
示例、API、示例代码和任何其他想法的链接都会有所帮助：)
如果您需要更多信息来解释这一点，请告诉我，我将编辑问题以包含更多信息
不是我知道的，但你可以通过..
使用正则表达式模式查找推文列表中的所有链接。
使用 twitter 搜索 api 搜索每个链接。返回结果的数量。
按返回的结果数手动对链接进行排序。
基本上你可以从 api 得到这个，首先得到最新的公共时间线（这将是 100 条推文，如果你需要 200 条，那么你需要请求一个游标并创建一个循环来检查 next_cursor 值是否大于 0）然后构建一个确定相关性的蜘蛛。
http://api.twitter.com/1/statuses/public_timeline .???
在哪里 ？？？是 json、xml、rss 还是 atom
如果您想确定单词的流行度，请将所有文本转储到一个字符串中，然后将其拆分为空格、标点符号等，丢弃非名词，对其进行排序并创建一个包含单词和单词计数的字典变量。
如果您想确定链接的受欢迎程度，那么它是相同的过程，但需要额外的步骤来对每个链接进行 Web 请求以确定最终链接目标。
基于其他人所说的，您可以使用 twitter 搜索来获取推文没有问题，我不会在这个答案中讨论这部分。
短链接的可能路线：
例如，您可以转到 bit.ly 并为您想要跟踪的 url 创建一个自定义短链接。如果您在 url 的末尾添加一个 + ，则使用该链接，您将获得链接统计信息。示例：http ://bit.ly/tweelay+此外，bit.ly 会跟踪指向相同 url 的其他短链接。然后您可以在搜索中使用它。
使用bit.ly /stats API，您可以获得缩短网址的列表。
根据您尝试跟踪的 url，您可能有权访问推荐日志。（即您自己的网站） 使用您的推荐日志，您还可以找到可用于搜索的其他短网址。