问题标签 [pyspider]

我正在尝试在 python 3.6 中运行 scrapy crawl 命令并收到此错误 ModuleNotFoundError: No module named 'win32api'

我尝试使用 pip install win32api 它说“找不到满足 win32api 要求的版本（来自版本：）没有找到与 win32api 匹配的发行版”

有什么帮助吗？ps：我是python新手

我刚开始学习Python。我想写一个蜘蛛程序来在网上找些笑话。当我运行程序时它警告：'AttributeError：'Spi​​der_Model'对象没有属性'pages'。而且我在网上找到的解决方案不起作用。这是代码。请看一下。

在此处输入图像描述

当我在终端中启动 pyspiderpyspider all时，它会弹出一个ImportError：

错误消息中还有其他一些文字，但我认为这是主要原因。

我试图通过重新安装 tornado(4.5.3) 来重新安装 tornado，但它似乎没有帮助。所以你们中有人遇到过同样的问题吗？任何提示将不胜感激。提前致谢。

配置信息：
macOS High Sierra 10.13.4
python 版本：3.7.0a2
龙卷风版本：4.5.3

我开发了一个 Python（请求）和 Java 代码来从网站上抓取数据。它将通过不断刷新网站以获取新数据来工作。
但是该网站最近将我的爬虫识别为自动化服务，并且我的帐户已被锁定。有什么方法可以隐藏此刷新以在没有帐户锁定的情况下获取新数据？

像这样的html：

python代码几乎是这样的：

现在我开始运行这个程序，程序正在运行。控制台正在打印价格，但仅两三分钟，我收到错误消息：

'IndexError：列表索引超出范围'

程序中断，我一次又一次地尝试。总是'IndexError: list index out of range'为什么没有显示“价格”？或“李？”。案例BeautifulSoup？

我用pyspider爬取了一个网站，在使用PhantomJs的时候，出现如下错误：

我已经在https://github.com/binux/pyspider/issues/215中搜索了解决方案，作者似乎解决了它，所以我尝试了，但它仍然没有。如何解决？

控制台显示一些警告。谁能帮我这个

对 python 非常陌生，试图探索从另一种语言导入一个长期开发的项目的可能性，一个伙伴发誓 Python 是我的答案。我已经启动并运行了 IDE，scrapy 正常工作并正确地将网站上列出的“名称”和“排名”方便地踢到 .csv。

问题出现在我花了最后一个小时试图弄清楚如何在网站上提取“团队玩家”字段。这是一个跨度，这是我遇到的第一个在命名空间中有空格的 scrapy 实例，这似乎是不明智的。

下面是我的代码，除了最后一行“团队位置”之外，一切正常。提供的代码只是我尝试获得此代码的许多迭代的代表。任何帮助将不胜感激。

我想知道如何使用 python 在每个域和子域中查找站点地图？一些例子：

等等。

最可能的站点地图名称、位置和扩展名是什么？

在 python 中执行一个热编码器后保留列名的最佳方法是什么？我所有的特征都是分类的，所以我喜欢下面：所以，导入数据集后，它看起来像下面

选择功能后，我想使用一个热编码器来转换它们，因为它们中的大多数都是分类的，我这样做之后的问题是：

在此处输入图像描述 结果没有原始列名，如何使用相同的列名+0.,1,2,3 转换它们。