问题标签 [domcrawler]

我想抓取/抓取给定 URL 的 Dom 并在另一个 URL 上重新呈现它。这是为了增长黑客工具的目的

一个例子是，我想重新渲染页面http://x.com/x.html。

1. 我浏览http://example.com/render?url=http://x.com/x.html
2. 我在服务器端吸了http://x.com/x.html的 DOM 内容
3. 我重新渲染吸入的 DOM 内容，保持所有依赖项完好无损。

这样做的目的是像 ChromeExtension 那样操作 DOM，但不需要任何扩展。这可以在任何浏览器上运行。

由于我保留了所有原始依赖项（资产的 URL：图像/js/CSS...），因此我可以使用相同的设计和额外的 DOM 修改重新渲染相同的页面。

我做了一些实验，这很好。但我的问题是，这是可扩展的吗？在法律方面呢？我是否可以被原网站所有者绳之以法（即使没有任何诈骗或欺诈意图）？你有什么建议吗？

我想从这个站点获取数据，但 symfony 爬虫不适用于http://www.varzesh3.com/livescore/feed并且字符串没有获得

我正在抓取网站，其中文本包含未编码<或>符号。这会破坏它的内容，然后显示为空。

例子

有没有办法我仍然可以获得#test-div（我期望的< 50%）内容？

我使用 Symfony DOM Crawler 来读取和保存包含模板的 HTML 文档。但是模板中缺少结束 HTML 标记。这是一个例子：

我希望是这样的：

但我得到：

你知道为什么 DOM Crawler 省略了结束标签吗？

我正在使用 PHPUnit 进行测试。

但是它显示错误。

我猜“selectButton”有问题。

这些是由 php 生成的用于测试的 html。

我正在尝试使用DOMCrawler 过滤我的html，但如果找到结果，我需要中断。

有可能打破each吗？或者如果我使用
我怎么能得到？还是不可能？$node->text();foreach

HTML：

PHP：

我想获得状态。然后如果状态等于“活动”，我想打破循环。

好的，现在我想出了一些东西。

但现在我不知道如何才能获得第三名<td>。<tr>

我正在使用 Symfony DomCrawler 来解析我的 HTML。我在我的网站上阅读这样的文章：

我怎样才能向后穿过它们？我想从页面最底部的帖子开始，然后向上。

这是我在空闲时间做的一个项目，以帮助减少我在公司重复点击所花费的时间，所以我希望它没有冒犯或被禁止。

待抓取的页面

我只想要第二个链接的 URI，因为它是精确的搜索匹配。第一个还包含-V1331后缀。

错误的：

正确的：

我试过这个：

但是，这显然失败了，因为元素内部有很多 HTML <a>，因此没有匹配链接。

请不要与 Laravel 的Goutte 外观混淆，它是 Symfony Dom Crawler 方法。

如何获取第二个链接的URI？是否有匹配链接的方法，如果它包含搜索 HTML 片段（在我们的例子中> Product&nbsp;BI1-EH04-AP6X<）？

是否可以使用 DomCrawler 获取数据？

$cralwer->attr('class')获取节点的类属性，但->attr('data-something')或->attr('something')总是导致null.

编辑：标记 PHP 也是因为我尝试DomElement从 php 操作对象（使用->attributes->getNamedItem()）但它仍然无法工作。我想知道是否根本不可能返回数据属性？

我正在尝试获取<a />标签内的标题。例如：<a href="test.php">Nice</a>将输出Nice.

我正在使用 Symfony DomCrawler。

这是我尝试过的：

我也试过$node->html();但没有运气。标题不会显示。

在API中也找不到任何关于它的信息。

有任何想法吗？