5

昨天，我试图获取 GitHub 中所有公共存储库的列表，但我没有找到任何链接。

例如，在 Sourceforge 中，您可以按类别列出所有项目，或者在 Google 代码中，您可以搜索所有项目。

是的，我尝试使用诸如“*”或“%”之类的关键字或空字符串进行搜索，但您只能看到此页面https://github.com/search?q=&type=Everything&repo=&langOverride=&start_value=1

4

2 回答 2

4

您可以使用以下请求列出 github 中的所有存储库：

https://api.github.com/repositories?since=0

它将返回 id>0 的前“n”个存储库作为 JSON 数组。您应该处理这个“n”，存储“id”。当您到达“页面”的末尾时，您只需再次点击 since=lastId: 例如：

https://api.github.com/repositories?since=300

这是我发现列出所有存储库的唯一方法，因为 SEARCH api 的每次搜索限制为 1000 个存储库。如果您打算处理所有回购，您应该准备好应对速率限制：

https://developer.github.com/v3/rate_limit/

经过身份验证的用户可以获得更好的限制，您可以使用 access_token （查看文档）。小心，不要提出太多要求。如果您需要过滤存储库，则需要为每个存储库执行额外的查询（搜索 API）。准备好处理超过一千万个存储库。Java 示例：（使用 javax.json.Json）

int id=0;
do {
    URL url = new URL("https://api.github.com/repositories?since="+id+"&access_token="+oauth);
    // implement callApi such as Json.createReader(url.openStream()), but please make it sleep for a minute if the limit got reached        
    try (JsonReader rdr = callApi(url)) {
        JsonArray results = rdr.readArray();
        for (JsonObject result : results.getValuesAs(JsonObject.class)) {
            id = result.getInt("id");
            String name = result.getString("name");
            boolean priv = result.getBoolean("private");
            ... do whatever you want...
        }
    }
} while (some stop condition);

祝你好运，我失去了一些时间来发现这一点。

于 2016-06-08T14:26:43.853 回答
2

看看这个搜索。我不确定这是否列出了所有公共回购，但我敢打赌这是一个好的开始。（搜索可能需要几秒钟，所以请耐心等待）

于 2012-10-07T22:14:07.373 回答