问题标签 [stackexchange]

我一直在尝试自动登录到 stackoverflow 来学习网络抓取。首先我尝试了scrapy，使用以下代码我没有从中获得那么幸运。

所以，我后来尝试了 selenium，我使用以下代码成功登录到 stackoverflow。

我知道 selenim 和 scrapy 是两种不同的方法。现在，对于抓取，我发现 scrapy 比 selenium 更容易处理和保存数据，而且它使用无头浏览，就像我需要的那样。

那么，有什么办法可以解决scrapy中的登录问题。或者，我可以将 selenium 与 scrapy 合并，这样，我可以使用 selenium 登录，然后剩余的工作可以由 scrapy 完成？

我目前正在学习使用scrapy进行网络抓取，并尝试/学习各种方法来登录stackoverflow，然后提取一些问题来练习网络抓取。我已经使用以下代码使用scrapy和pyquery成功登录到stackoverflow：

但作为回应，它只给我成功状态代码，即 200，使用以下命令运行：

那么，我怎样才能得到整个 html 页面数据的响应，以便我可以抓取更多的问题/数据。解析功能也在工作，但它只是打开 stackoverflow 登录页面。

在scrapy shell中使用上面的代码，我可以登录stackoverflow。但是，我想执行此活动而不是作为命令行参数。所以，我试图在子进程中使用上述命令登录。

但它给了我这样的错误：

TypeError：“FormRequest”类型的参数不可迭代

我还尝试将响应保存在 html 文件中并将该文件作为响应读取并得到与上面相同的错误消息。

我也尝试获取文本响应并再次收到上述错误消息。

我还尝试在调用解析函数之前创建请求，例如：

而且，我得到了新的错误。

AttributeError：“str”对象没有属性“encoding”

那么，我如何使用子进程运行scrapy shell 命令来登录stackoverflow。scrapy 中 Formrequest 中的响应究竟是什么作为输入？

我正在学习scrapy和各种登录stackoverflow的方法来练习网页抓取。

我搜索了Stack Exchange API v2.2的整个文档，但找不到任何 API 来获取有关用户页面上影响部分的数据。

我对特定用户的影响/触及人数数据感兴趣。

解决此问题的一种方法是使用 URL:并使用获取GET整个用户页面所需的数据。https://stackoverflow.com/users/${id}document.getElementById()

但问题是，获取整个用户页面非常庞大，并不是最佳解决方案。

我正在尝试构建我的个人网页。我想使用堆栈交换图标链接到我的网页中的堆栈交换配置文件。但是 font-awesome 中的图标是灰度的（不是彩色的）。我已经使用 CSS 为 LinkedIn、ORCID 等其他图标着色。

但是，StackExchange 有颜色深浅。还有其他东西可以为 SE 提供彩色图标吗？或者我可以通过 CSS 给它上色吗？

PS：任何其他建议也欢迎。我的仓库

登录到我自己的帐户后，我正在尝试从 stackoverflow 网站上抓取问题和发布日期。这是为了练习scrapy with splash。

成功登录我的帐户后，我可以访问问题页面。但是，我在数据提取过程中卡住了。我已经使用爬虫来管理提取，但它抛出了一个错误：

NotImplementedError：未定义 StackdataSpider.parse 回调

这是我到目前为止的进展：

从我目前了解到的情况来看，当我们使用 start_requests 函数时，不需要使用 parse 函数。但是，如果我重命名要解析的 parse_item，它只会提取一个问题而不会出现任何错误。

这是错误的，因为它破坏了爬虫，并从响应页面给出了响应页面的结果，该响应页面由飞溅给出。我不希望那样。

我认为，这是与 crawlspider 一起飞溅的问题，但我不确定，即使我的猜测是正确的，我也不知道它是什么以及如何解决它。

此页面中与徽章相关的子弹符号的颜色是如何编码的？

我认为这是 HTML 的相关部分：

但是，如果我打开 Chrome 开发工具并单击类的第一行，badgecount我会看到这些 CSS，

以及其他两个的类似代码，它解释了 3 个徽章计数的数字的颜色，因为.badge1+.badgecount它匹配紧跟在子弹后面的计数，而不是子弹本身。

那么子弹呢？如果我单击badge1类的行，我看不到任何与颜色相关的样式。事实上，如果我转到 devtools 中的“计算”选项卡，该color属性具有 value rgb(61,61,61)。

那么子弹的颜色是从哪里来的呢？

我正在尝试将Stack 的编辑器集成到我自己编写的博客中。但即使在他们的自述文件中的示例中，它也没有显示编辑器。

在这里，浏览器的控制台显示stacksEditor.

是否有任何 StackExchange 更快的方法来验证该点是否在使用 Redis 的多边形中。

我有一个纬度和经度点，想知道它落在哪个城市。我有城市的多边形数据。

目前我正在使用此代码并且它可以工作，但是当我必须在数百个城市多边形中进行检查时，我发现它效率太低且不可扩展。想用 Redis 来做这件事。

请协助。

有没有人记录过 Stack Exchange 标记和 Github 标记之间的区别？

我正在进行将 Stack Exchange Markdown 转换为 Github Markdown 的项目。这可能会稍微复杂一些，因为 Github Pages 上的 Jekyll 使用了一种名为“Kramdown”的 Markdown 衍生产品。

我已经在我的 Python 程序中编写了一些转换。例如，旧的 SE 帖子#Header必须转换为# Header.

另一个例子是“> 块引用”行在行尾附加了两个空格。

现在它开始变得棘手（至少对我而言）在 SE 中的图像中指定为：

它必须转换为 Github 图像降价格式：

Stack Exchange Markdown 中“页脚超链接”（因为缺少更好的名词）的另一个示例是：

需要转换为 Github Markdown 格式的：

最后今晚我发现在 Stack Exchange 中你可以拥有：

这需要像这样重新格式化为 Github Markdown：

当 SE Markdown 具有以下功能时，情况会变得更加复杂：

或者它有这个：

一个现有的 Github Repo 来转换会很棒！如果没有，那么如果有人记录了 Stack Exchange 标记和 Github 标记之间的差异，那也很棒。

如果这个问题有一个月没有得到解答，那么我想我最终会在试错修复过程完成后回答它。