我有以下 robots.txt
User-agent: *
Disallow: /images/
Sitemap: http://www.example.com/sitemap.xml
和下面的机器人解析器
def init_robot_parser(URL):
robot_parser = robotparser.RobotFileParser()
robot_parser.set_url(urlparse.urljoin(URL, "robots.txt"))
robot_parser.read()
return robot_parser
但是当我做一个print robot_parser
最重要的事情时,return robot_parser
我得到的是
User-agent: *
Disallow: /images/
为什么它忽略了站点地图行,我错过了什么吗?