我使用付费地理定位脚本将用户定向到基于国家/地区的特定网站 . 但是，由于机器人不断抓取我的大型网站的每一页，我收取了很多费用 .
如果我在robots.txt中禁止使用google并在robots.txt中提供站点 Map ，谷歌仍会将我的网页编入索引而不会抓取？
例
User-agent: * Disallow: / Sitemap: sitemap.xml
谷歌索引只有抓取...
最好的办法是在检测到Google机器人（或其他）时禁用地理位置脚本您可以通过各种方式识别它们：HTTP_USER_AGENT或HTTP_FROM，或IP
1 回答
谷歌索引只有抓取...
最好的办法是在检测到Google机器人（或其他）时禁用地理位置脚本您可以通过各种方式识别它们：HTTP_USER_AGENT或HTTP_FROM，或IP