noindex是robots.txt文件中的可选指令，还是用户代理，禁止，允许和抓取延迟的唯一选项？例如，这对robots.txt文件的内容有效吗？：
用户代理： *不允许： /noindex：/
noindex不是robots.txt文件的有效指令 . 不过，它是META机器人标签的有效指令 .
robots.txt的唯一标准指令是"User-agent"和"Disallow" . 某些浏览器支持一组扩展指令，包括"Crawl-delay"，"Allow"和"Sitemap" . http://rield.com/cheat-sheets/robots-exclusion-standard-protocol似乎对标准和扩展指令有详尽的解释 .
1 回答
noindex不是robots.txt文件的有效指令 . 不过，它是META机器人标签的有效指令 .
robots.txt的唯一标准指令是"User-agent"和"Disallow" . 某些浏览器支持一组扩展指令，包括"Crawl-delay"，"Allow"和"Sitemap" . http://rield.com/cheat-sheets/robots-exclusion-standard-protocol似乎对标准和扩展指令有详尽的解释 .