首页 文章
  • 0 votes
     answers
     views

    这个Robots.txt文件是否正确？

    我最近在我的服务器上遇到了很多CPU峰值，不知何故我认为这不是真正的流量，或者它的某些部分并不真实 . 所以我想现在只允许谷歌机器人，MSN和雅虎 . 如果以下robots.txt文件符合我的要求，请指导我 . User-agent: Googlebot User-agent: Slurp User-agent: msnbot User-agent: Mediapartners-Google* ...
    yahoo robots.txt googlebot msn

热门问题