我有一个网站，我正在使用谷歌自定义搜索引擎 . 我希望Google CSE抓取我的网站，但我希望它不会出现常规Google搜索结果 . 我把它放在我的robots.txt文件中，希望google CSE机器人会忽略它，因为我指定了我希望Google CSE在设置中抓取的页面
User-agent: * Disallow: /
我猜Google CSE机器人也必须服从robots.txt . 那么有没有办法让我的网页远离搜索引擎搜索，但谷歌CSE仍然可以索引它？ TIA！
这个问题没有解决方案符合您的要求 . 我也有同样的情况，我只需要自定义搜索 . 不幸的是，谷歌的crawlers列表没有显示谷歌自定义搜索的特定机器人 . 阻止Googlebot会破坏原生搜索和自定义搜索 .
1 回答
这个问题没有解决方案符合您的要求 . 我也有同样的情况，我只需要自定义搜索 . 不幸的是，谷歌的crawlers列表没有显示谷歌自定义搜索的特定机器人 . 阻止Googlebot会破坏原生搜索和自定义搜索 .