web-crawler - import.io如何将爬取的数据实时写入文件

Question

我目前在 import.io 中设置了一个爬虫，它可以爬取大量页面（数万页）。一旦这个爬虫完成，我尝试查看数据只是发现它已经全部丢失，我认为这是由于数量庞大。有没有办法设置我的爬虫，以便在收集数据时将数据实时写入我的硬盘驱动器上的文件？

Answer 1

是的，您可以，在您开始抓取之前，链接区域下方有一个选项

1 -保存流是您选择文件名和保存位置的位置，还确保将 .csv 或 .json 添加到文件名中

2 -流类型您从下拉列表中选择输出类型。