问题标签 [x-ray]

我刚刚为节点找到了一个名为xray的简洁网络爬虫，是否可以使用这个库来填充表单数据并提交它？还是这个库仅用于从网页读取数据？

我正在编写一个 Express.js 应用程序，使用 X 射线作为刮刀来获取一些信息。

我想为我正在抓取的每个网站创建一个模型（不同的网站 = 不同的数据/要抓取的程序）。这是模块的代码：

问题是控制器的函数 getData 没有返回任何内容，因为它被调用并且执行继续进行而不等待 x() 抓取函数的完成。

我正在尝试实现一个回调函数 sendScraped(scraped) 来让我的控制器等待完成，但我不知道如何从模型中调用它。这是我在控制器中尝试的：

我正在尝试运行一个简单的脚本，该脚本将使用 X 射线刮取一些数据并将其插入到我的事件集合中。

接收内容的 X 射线回调将所有抓取的数据放在一个对象数组中，每个对象都有几个属性。当我尝试将此数据插入到我的事件集合中时，for 循环迭代一次然后退出，但没有显示错误。如果我删除Events.insert()循环一直迭代。

我错过了什么？执行此类任务的正确方法是什么？

我在使用 X 射线时遇到了一些问题。我觉得这不是专门的 X 射线，而是 javascript。

所以基本上我想做的是从 X 射线中获取信息，然后使用它。我正在尝试将信息存储到一个对象中，但是当我尝试访问它时，它只给了我最后一个选项。如果有人可以帮助我，我将不胜感激。谢谢你，雷南·西代尔

使用 NodeJS/X-Ray 向外部站点发出请求时，是否可以更改您的 IP 地址和用户代理？

我正在使用 X-ray JS 包从页面中抓取表格。使用 JSON 字符串中的 CSS 选择器数组指定所需的标签和属性。

"{[ 'th, td' ]}"正确地从 allth和tdtags 获取内容。

我还需要其中的img标签，td所以我捕获图标。

什么选择器字符串可以做到这一点？

见https://github.com/lapwinglabs/x-ray

我正在尝试自动从许多网址中获取信息。我有这个数组，地址叫做arrayDep，我有一个“for”循环我的数组并进入网站。之后，我使用 X 射线来获取我想要的信息。目前我正在使用 console.log 来查看它，但稍后我会将它们添加到我的数据库中。问题是我在偶然时间之后收到未定义的对象，有时服务器繁忙的消息，我认为这是我尝试运行 X 射线的时间，所以我尝试添加超时，遗憾的是没有成功:(

代码：

我想得到这里http://search.azlyrics.com/search.php?q=tired+adele的结果的第一个链接

使用x 射线 node.js 刮刀。我的代码如下：

不知道为什么我得到空对象。选择器似乎不起作用。

我如何通过 x-ray/nodejs抓取黑客新闻（ https://news.ycombinator.com/ ）？

我想从中得到这样的东西：

有一个新闻表，但我不知道如何抓取它...网站上的每个故事都由三列组成。这些没有他们独有的父母。所以结构看起来像这样

到目前为止，我已经尝试过：

和

第二种方法返回 30 个名称和 29 个评论点...我看不到将它们映射在一起的任何可能性，因为没有信息 30 个标题中的哪一个缺少评论...

任何帮助

我是第一次使用 X 射线模块。

我使用它没有问题，但是当我尝试以格式错误的 HTML 代码抓取数据时遇到了一些问题。

例如，如果我尝试从网站上抓取此 HTML 代码：

使用此代码：

我得到以下结果：

]

如果 DD 标签被关闭，我的抓取代码就可以工作。

有关如何解决此问题的任何解决方案？