寻找有关为抓取应用程序选择语言和 IDE 的建议。以下是我的要求:
- 需要使用适合跨平台的语言(Win/OSX)
- 需要使用对多个程序员具有良好源代码控制的 IDE
- 想使用强大的库进行抓取
- 想要为每个平台制作看起来原生的 GUI
在我最初的研究之后,这是我目前所拥有的:
- Python
- 用于 GUI 的 pyQT
- 不确定哪个 IDE 与源代码控制管理(Eclipse?)
- Scrapy.org 用于抓取
- 可能是 Selenium WebDriver
我不确定 Scrapy 是否能满足我的需求,因为我需要能够在可能使用 javascript 的网站上提交表单......所以我认为 Selenium 可能能够处理这个问题。
我宁愿不使用 Objective C 或 C++。我倾向于 Python,因为它的快速发展似乎很好。
所以问题是,我是否走在正确的轨道上,或者我只是完全错过了一条完全不同的更好的途径,它会更简单或更适合在网站上抓取和提交表单?