matlab - 谷歌学术与 Matlab

Question

我想通过 matlab 脚本自动从 Google Scholar 获取一些数据。我最感兴趣的是 Google Scholar 的 Bibtex 条目和前向引用功能等数据。但是，似乎没有适用于 Google Scholar 的 API，有没有办法使用 Matlab 自动从 Google Scholar 获取书目数据？是否有一些工具或代码已经可用？

Answer 1

我在进一步研究这个项目时发现了一个警告。

Google Scholar 没有 API 是有原因的。使用机器人从 Google Scholar 收集信息是违反 EULA 的。基本思想是，任何试图与 Google Scholar 交互的程序都不能以与最终用户不同的方式进行交互。换句话说，您可以自动获取大量数据。尽管@JustinPeel 答案中的脚本不一定违反条款，但将其置于大规模循环中。

本 EULA中的一些具体要点：

您不得，也不得允许任何第三方：...

(i) 通过任何自动、欺骗、欺诈或其他无效方式（包括但不限于点击垃圾邮件、机器人、宏程序和 Internet 代理）直接或间接产生对结果的查询、印象或点击；

...

(l) “抓取”、“蜘蛛”、索引或以任何非临时方式存储或缓存从服务获得的信息（包括但不限于结果或其任何部分、副本或衍生品）；

如果您查看 Google Scholar robots.txt，您还可以看到不允许使用任何类型的机器人。

我从一些同事那里听说，如果您试图规避此政策，您会遇到麻烦，这可能会导致您的实验室无法访问 Google Scholar。

Answer 2

如果您真的想为此使用 Matlab（我不建议这样做），那么您可以查看一些各种网络抓取示例，并且该代码实际上已经从 Google Scholar 获得了一些信息。基本上，只需良好的“matlab 网络抓取”就可以了。

我个人建议为此使用 Python，因为 Python 更适合一般编程恕我直言。例如，这个人已经用 Python 完成了与您想要的类似的事情。但是，如果您了解 Matlab 并且对 Python 没有任何兴趣/时间，请点击第一段中的链接。