首页 文章

Sitemap / robots.txt配置冲突

提问于
浏览 次
0

My robots.txt包含以下规则：

Disallow: /api/
Allow: /
Allow: /apiDocs

/apiDocs 网址位于站点 Map 中，但根据Google网站站长工具，这些robots.txt规则禁止对其进行抓取 . 我希望阻止所有与 /api/* 匹配的网址被抓取，但允许抓取网址 /apiDocs .

我应该如何改变我的 robots.txt 才能实现这一目标？

seo robots.txt google-webmaster-tools

1 回答

  • 1

    • 记录中不允许换行（ Disallow 和两个 Allow 行之间有换行符） .

    • 您不需要 Allow: / （它与 Disallow: 相同，这是默认值） .

    • 您不允许抓取 /api/ （这是路径以"api"开头，后跟"/"的任何网址），因此无论如何都不需要 Allow: /apiDocs .

    所以你的后备记录应如下所示：

    User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/

    当机器人与此"fallback"记录匹配时，允许抓取路径以 apiDocs 开头的网址 .

    回复于

相关问题