-
0 votesanswersviews
noindex跟随Robots.txt
我有一个已在搜索引擎中编入索引的wordpress网站 . 我编辑了Robots.txt以禁止搜索索引中的某些目录和网页 . 我只知道如何使用allow和disallow，但不知道如何在Robots.txt文件中使用follow和nofollow . 我在谷歌搜索的时候在某个地方看到我可以拥有不会在谷歌中编入索引的网页，但会被抓取以进行网页浏览 . 这可以通过禁止Robots.txt中的网页来实现... -
4 votesanswersviews
可以防止搜索引擎蜘蛛无限爬行搜索结果上的分页链接？
我们的SEO团队希望向蜘蛛打开我们的主要动态搜索结果页面，并从元标记中删除'nofollow' . 通过允许robots.txt中的路径，蜘蛛目前可以访问它，但在元标记中使用'nofollow'子句可以防止蜘蛛超出第一页 . <meta name="robots" content="index,nofollow"> 我担心如果我们删除'nofol...