c++ - 使用 C++ 解析 robots.txt 文件

Question

是否有任何要解析的库robots.txt，如果它不存在，我如何使用 boost regex 用 c++ 编写它？

Answer 1

查看 Boost Regex 库中的示例。如果您编辑您的问题以更好地了解您在 robots.txt 文件中究竟要查找的内容，那么有人可以帮助您使用正则表达式语法。

例如，如果您试图在文件中查找所有用户代理的名称，您可以使用这样的表达式。

boost::regex expression("^User-agent:\s*(.*)");