首页 文章

在robots.txt中列出站点 Map 和站点 Map 索引文件？

提问于
浏览 次
6

我的网站由3个主要部分组成：评论，论坛和博客 . 我有论坛和博客的插件，可以自动为他们生成站点 Map . 论坛插件生成指向多个索引的站点 Map INDEX文件，博客插件生成包含我所有博客内容的常规站点 Map 文件 . 以下是robots.txt中的条目：

Sitemap: http://www.datesphere.com/forum/sitemap-index.xml
Sitemap: http://www.datesphere.com/blog/sitemap.xml

我刚创建了一个评论sitemap.xml文件，其中包含评论部分中的所有内容 . 我打算只为robots.txt添加一行，所以整个事情看起来像这样：

Sitemap: http://www.datesphere.com/forum/sitemap-index.xml
Sitemap: http://www.datesphere.com/blog/sitemap.xml
Sitemap: http://www.datesphere.com/reviews-sitemap.xml

这是我的问题：我知道您可以在robots.txt中列出多个站点 Map ，但是可以列出站点 Map 索引文件以及多个站点 Map 吗？如果在robots.txt中找到sitemap-index.xml文件，Googlebot会忽略其他站点 Map 文件吗？如果是这样，我是否必须将我的博客和评论站点 Map 放在另一个站点 Map 索引文件中，并将其列在robots.txt中？

我已经检查过，但只能找到问题的答案“我可以列出多个站点 Map 吗？”

sitemap robots.txt

2 回答

  • 0

    即使您列出了其父站点 Map 索引，Googlebot也不会忽略您在robots.txt中列出的任何站点 Map . 我们几乎遵循我们发现的每个链接，如果我们被允许，我们会抓取它们 . 就个人而言，我可能只列出Sitemap索引，但仅出于可管理性的考虑，但这取决于您，如果您列出索引和站点 Map ，Googlebot将不介意 .

    回复于
  • 14

    如果您有多个站点 Map ，则可以在robots.txt文件中指定站点 Map 索引文件网址，如下例所示：

    // robots.txt
Sitemap: http://www.example.com/sitemap_index.xml 
User-agent:* 
Disallow: /some/disallowed/path

    或者，您可以指定多个站点 Map 文件的各个URL，如下例所示：

    // robots.txt
Sitemap: http://www.example.com/sitemap_host1.xml 
Sitemap: http://www.example.com/sitemap_host2.xml 
User-agent:* 
Disallow: /some/disallowed/path

    最后，在将Sitemap指令添加到robots.txt文件时，您需要注意这一点 .

    回复于

相关问题