问题标签 [stackexchange]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
140 浏览

python - 使用 selenium 登录到 stackoverflow 是有效的,但使用 scrapy python 不是。如何使用无头浏览登录?

我一直在尝试自动登录到 stackoverflow 来学习网络抓取。首先我尝试了scrapy,使用以下代码我没有从中获得那么幸运。

所以,我后来尝试了 selenium,我使用以下代码成功登录到 stackoverflow。

我知道 selenim 和 scrapy 是两种不同的方法。现在,对于抓取,我发现 scrapy 比 selenium 更容易处理和保存数据,而且它使用无头浏览,就像我需要的那样。

那么,有什么办法可以解决scrapy中的登录问题。或者,我可以将 selenium 与 scrapy 合并,这样,我可以使用 selenium 登录,然后剩余的工作可以由 scrapy 完成?

0 投票
1 回答
38 浏览

python - 使用 scrapy 和 pyquery 登录 Stackoverflow,但无法进行进一步抓取

我目前正在学习使用scrapy进行网络抓取,并尝试/学习各种方法来登录stackoverflow,然后提取一些问题来练习网络抓取。我已经使用以下代码使用scrapy和pyquery成功登录到stackoverflow:

但作为回应,它只给我成功状态代码,即 200,使用以下命令运行:

那么,我怎样才能得到整个 html 页面数据的响应,以便我可以抓取更多的问题/数据。解析功能也在工作,但它只是打开 stackoverflow 登录页面。

0 投票
1 回答
36 浏览

python - 在scrapy中发布请求时,我们究竟应该传递什么作为响应?

在scrapy shell中使用上面的代码,我可以登录stackoverflow。但是,我想执行此活动而不是作为命令行参数。所以,我试图在子进程中使用上述命令登录。

但它给了我这样的错误:

TypeError:“FormRequest”类型的参数不可迭代

我还尝试将响应保存在 html 文件中并将该文件作为响应读取并得到与上面相同的错误消息。

我也尝试获取文本响应并再次收到上述错误消息。

我还尝试在调用解析函数之前创建请求,例如:

而且,我得到了新的错误。

AttributeError:“str”对象没有属性“encoding”

那么,我如何使用子进程运行scrapy shell 命令来登录stackoverflow。scrapy 中 Formrequest 中的响应究竟是什么作为输入?

我正在学习scrapy和各种登录stackoverflow的方法来练习网页抓取。

0 投票
1 回答
140 浏览

stackexchange-api - Stack Exchange API 以获取影响/达到的人数

我搜索了Stack Exchange API v2.2的整个文档,但找不到任何 API 来获取有关用户页面上影响部分的数据。

我对特定用户的影响/触及人数数据感兴趣。

解决此问题的一种方法是使用 URL:并使用获取GET整个用户页面所需的数据。https://stackoverflow.com/users/${id}document.getElementById()

但问题是,获取整个用户页面非常庞大,并不是最佳解决方案。

0 投票
1 回答
100 浏览

html - html中的StackExchange颜色图标

我正在尝试构建我的个人网页。我想使用堆栈交换图标链接到我的网页中的堆栈交换配置文件。但是 font-awesome 中的图标是灰度的(不是彩色的)。我已经使用 CSS 为 LinkedIn、ORCID 等其他图标着色。

但是,StackExchange 有颜色深浅。还有其他东西可以为 SE 提供彩色图标吗?或者我可以通过 CSS 给它上色吗?

PS:任何其他建议也欢迎。我的仓库

0 投票
0 回答
66 浏览

python - 为什么使用 start_requests 在 crawlspider 中为解析回调抛出 NotImplementedError?

登录到我自己的帐户后,我正在尝试从 stackoverflow 网站上抓取问题和发布日期。这是为了练习scrapy with splash。

成功登录我的帐户后,我可以访问问题页面。但是,我在数据提取过程中卡住了。我已经使用爬虫来管理提取,但它抛出了一个错误:

NotImplementedError:未定义 StackdataSpider.parse 回调

这是我到目前为止的进展:

从我目前了解到的情况来看,当我们使用 start_requests 函数时,不需要使用 parse 函数。但是,如果我重命名要解析的 parse_item,它只会提取一个问题而不会出现任何错误。

问题.json

这是错误的,因为它破坏了爬虫,并从响应页面给出了响应页面的结果,该响应页面由飞溅给出。我不希望那样。

我认为,这是与 crawlspider 一起飞溅的问题,但我不确定,即使我的猜测是正确的,我也不知道它是什么以及如何解决它。

0 投票
1 回答
26 浏览

html - 什么 CSS 代码为该页面上徽章计数旁边的项目符号赋予颜色?

此页面中与徽章相关的子弹符号的颜色是如何编码的?

我认为这是 HTML 的相关部分:

但是,如果我打开 Chrome 开发工具并单击类的第一行,badgecount我会看到这些 CSS,

以及其他两个的类似代码,它解释了 3 个徽章计数的数字的颜色,因为.badge1+.badgecount它匹配紧跟在子弹后面的计数,而不是子弹本身。

那么子弹呢?如果我单击badge1类的行,我看不到任何与颜色相关的样式。事实上,如果我转到 devtools 中的“计算”选项卡,该color属性具有 value rgb(61,61,61)

那么子弹的颜色是从哪里来的呢?

0 投票
1 回答
137 浏览

javascript - 如何将 Stack 的编辑器正确集成到我的网站中?

我正在尝试将Stack 的编辑器集成到我自己编写的博客中。但即使在他们的自述文件中的示例中,它也没有显示编辑器。

在这里,浏览器的控制台显示stacksEditor.

0 投票
1 回答
26 浏览

c# - 使用 C# 的 StackExchange 多边形

是否有任何 StackExchange 更快的方法来验证该点是否在使用 Redis 的多边形中。

我有一个纬度和经度点,想知道它落在哪个城市。我有城市的多边形数据。

目前我正在使用此代码并且它可以工作,但是当我必须在数百个城市多边形中进行检查时,我发现它效率太低且不可扩展。想用 Redis 来做这件事。

请协助。

0 投票
2 回答
65 浏览

github - 将 Stack Exchange Markdown 转换为 Github Markdown

有没有人记录过 Stack Exchange 标记和 Github 标记之间的区别?

我正在进行将 Stack Exchange Markdown 转换为 Github Markdown 的项目。这可能会稍微复杂一些,因为 Github Pages 上的 Jekyll 使用了一种名为“Kramdown”的 Markdown 衍生产品。

我已经在我的 Python 程序中编写了一些转换。例如,旧的 SE 帖子#Header必须转换为# Header.

另一个例子是“> 块引用”行在行尾附加了两个空格。

现在它开始变得棘手(至少对我而言)在 SE 中的图像中指定为:

它必须转换为 Github 图像降价格式:

Stack Exchange Markdown 中“页脚超链接”(因为缺少更好的名词)的另一个示例是:

需要转换为 Github Markdown 格式的:

最后今晚我发现在 Stack Exchange 中你可以拥有:

这需要像这样重新格式化为 Github Markdown:

当 SE Markdown 具有以下功能时,情况会变得更加复杂:

或者它有这个:

一个现有的 Github Repo 来转换会很棒!如果没有,那么如果有人记录了 Stack Exchange 标记和 Github 标记之间的差异,那也很棒。

如果这个问题有一个月没有得到解答,那么我想我最终会在试错修复过程完成后回答它。