问题标签 [link-checking]

有人使用过链接检查器 gem吗？

我不想在项目中使用它，我想编写一个小脚本来测试 Web 应用程序上的链接。

我似乎无法弄清楚如何使用它。尝试require它是行不通的，但说gem 'link-checker'确实会导致事实。

我在 IRB 中尝试使用它无处可寻。有人可以让我知道我错过了什么吗？

我在 GitHub Pages 上托管页面。这些使用 Jekyll，但这不重要。

既然我们有网页的源代码管理，甚至还有发布和托管……为什么不添加 CI！

是否有使用 Travis CI 场景实施链接检查器的最佳实践。此外，实际上，这是否是“正确”的做法，因为可能会使用大量资源？

谢谢！

我们正在执行来自 PHP 的 curl 调用。

我们应该考虑哪些其他 HTTP 状态代码来检查 URL 是否不是损坏/死链接。

我有一堆 URL，我正在尝试检查这些 URL 是否有效（检查 404 等错误）。在这种情况下，哪些 URL 被认为是有效的？

示例场景：

• 服务器以 HTTP 3XX 响应（永久/临时移动）

这些 URL 是否被视为有效？

我有一个由用户发布的具有公共个人资料或公共页面的各种 Facebook 视频、照片、状态等链接的列表。我想检查链接是否仍然有效并且内容是否仍然可用（即视频没有被删除或删除）。Facebook 没有给出 404 错误，因此我无法发送简单的 GET 请求，并且有许多“未找到内容”页面的变体，我认为我无法将其基于返回的页面。

是否需要 Facebook Graph API 来执行此操作？需要什么权限？根据我的研究，用户似乎需要大量权限才能授予该应用程序。有没有其他方法可以在不创建“应用程序”的情况下查询公共 Facebook 数据？

我正在尝试基于此操作方法构建一个断开的链接检查器：https ://dev.to/arvindmehairjan/build-a-web-crawler-to-check-for-broken-links-with-python-beautifulsoup- 39毫克

但是，我的代码行有问题，因为当我运行程序时，我收到以下错误消息： File "/Users/Documents/brokenlinkchecker.py", line 26 print(f"Url: {link.get ('href')} " + f"| 状态码: {response_code}") SyntaxError: 无效语法

我被困在可能导致此语法错误的原因上。有人对我可以做些什么来使这个程序起作用有什么建议吗？

非常感谢！

这是代码：

我使用Steven Vachon 的断开链接检查器来检查 Google Sites 网站上的断开链接。这是代码：

它适用于常规网站（我在我的个人网站http://davorpetreski.online上尝试过），但它不适用于 Google 网站，因为 Google 对 URL 和重定向进行了编码。例如：

https://wakelet.com/wake/L0UVOgn6Hd_1Gsnju6oxN

在 Google 协作平台上是

https://www.google.com/url?q=https%3A%2F%2Fwakelet.com%2Fwake%2FL0UVOgn6Hd_1Gsnju6oxN&sa=D&sntz=1&usg=AFQjCNHcpspNj_moWDExR_meisyPFxNEfg

链接检查器检查第二个并说没问题（因为它只是一个重定向页面），而实际链接返回 404。有解决方法吗？

我应该采取另一种工具/方法吗？

我正在尝试检查https://designbyjjz.com/books/all/all.html上的链接，但检查器未按预期运行。在https://www.gutenberg.org/files/67560/67560-h/67560-h.htm检查相同的文件，但是效果很好。我已经联系了主机hosting24.com，但他们不知道并让我在这里问这个问题。欢迎任何和所有帮助、建议、提示和想法。