我有一个网站搜索它有4个下拉菜单 . 这些下拉中的每一个都会重定向回相关页面，但使用url参数告诉它如何对结果进行排序 . 第一个下拉列表有13个选项，其他三个下拉列表各有4个选项 . 当然谷歌看到了重复的内容，并为它吃了我的搜索引擎优化 .
由于包含13个选项的下拉列表是一个类别排序器，所以我已经能够将重复的内容放下一点，因此我使用它来更改每个页面上的 Headers 以帮助停止整个重复的内容，但是其他3个是纯的分拣机并不能真正用于更改页面的 Headers （也不应该） .
所以我想出了一个解决方案：
-
禁止robots.txt中的页面（/搜索）
-
将13页（从类别分类器）添加到sitemap.xml，因为它们具有单独的 Headers ，应该可以很好地工作 .
问题是我应该在分拣机链接中添加一个nofollow以阻止谷歌使用它们，或者站点 Map 只是索引该网址而不是跟随其中的其他链接？
或者，还有更好的方法？
另外作为旁注：
如果我在sitemaps.xml中有一个URL，如：
/用户/视图？ID = 1
但是我有一个robots.txt行：
禁止：/ user / view
谷歌仍然可以索引站点 Map 网址，阻止访问这样的动态网页是一个好习惯吗？
谢谢，
2 回答
处理此问题的更好方法是使用canonical URLs . 这将告诉Google哪个页面是"main"页面并将其包含在其索引中，并且与其重复的其他页面应被视为同一页面（并且不包括在搜索结果中） . 这可以防止您不得不阻止页面，或者更糟糕的是，在内部页面上使用nofollow . 事实上，在博客文章中我链接到他们提供的示例几乎与您的用例相同 .
使用rel="canonical"