首页 文章

多个站点 Map ：robots.txt中的条目？

提问于
浏览 次
34

我一直在搜索谷歌，但我找不到这个问题的答案 .

robots.txt文件可以包含以下行：

Sitemap: http://www.mysite.com/sitemapindex.xml

但是是否可以在robots.txt中指定多个站点 Map 索引文件并让搜索引擎识别并抓取每个站点 Map 索引文件中引用的所有站点 Map ？例如，这会工作：

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml
sitemap robots.txt

3 回答

  • 73

    可以编写它们，但是由搜索引擎知道如何处理它 . 我怀疑很多搜索引擎要么“不断消化”越来越多的令牌，要么将他们发现的最后一个站点 Map 作为真实的站点 Map .

    我建议问题是“如果我想____搜索引擎索引我的网站，我能够定义多个站点 Map 吗？”

    回复于
  • -1

    是的，有可能more than one sitemap-index-file：

    您可以拥有多个Sitemap索引文件 .

    我的亮点 .

    是的，可以在 robots.txt 中列出多个站点 Map 文件，请参阅in the sitemap.org site：

    您可以为每个robots.txt文件指定多个Sitemap文件 . 网站 Map ：http：//www.example.com/sitemap-host1.xml

    站点 Map ：http：//www.example.com/sitemap-host2.xml

    我强调，这不能被误读，所以简单地说，这可以做到 .

    对于交叉提交，这也是必要的，顺便说一句 . robots.txt 已被选中 .

    顺便说一句 Google ， Yahoo 和 Bing ，都是members of sitemaps.org：

    Sitemap 0.90根据Attribution-ShareAlike Creative Commons License的条款提供，并得到广泛采用，包括Google，Yahoo！和Microsoft的支持 .

    因此，您可以放心，搜索引擎机器人会正确阅读您的站点 Map 条目 .

    通过网站管理员工具提交它们也不会有任何影响 - 正如约翰·穆勒commented .

    回复于
  • 7

    如果您的站点 Map 超过10 MB（未压缩）或超过5万个条目，则Google要求您使用与站点 Map 索引文件捆绑在一起的多个站点 Map .

    在您的robots.txt中指向站点 Map 索引，该索引应如下所示：

    <?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2012-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2012-01-01</lastmod>
   </sitemap>
</sitemapindex>
    回复于

相关问题