我是爬行社交网络的新手。不过,我需要编写Twitter爬虫,它基本上通过Twitter并在用户之间建立依赖关系*图* (关于例如跟随、提及等关系)和推文。我需要用Java来做。我知道有twitter4j基本上可以用Twitter做很多事情。问题是twitter4j是巨大的,我不知何故迷失了从它那里获得我在任务中需要的东西。我也知道有某种有限的搜索API 和流式API。当我想从Twitter获取尽可能多的数据时,我应该使用哪一个?因此,如果有人给我一些如何从Twitter获取这些数据的指示,我将非常感激(如果可能的话,除了解析大量JSON文件......)。非常感谢任何新手指南(我应该使用twitter4j类的哪个子集,一些教程(如果可用),也许是一些示例代码来获取一些数据等)。
PS:是否需要使用OAuth才能拥有从Twitter获取数据的全部功能?