页面去重原理，我们需要知道的就是搜索引擎是如何判断两个站点是否重复~~！
因为前段时间有些闲着蛋疼的互联网机构跑了过去搞了些投机，互联网上的页面重复数量占网页总数比率的30%，完全相同的占20%，如下所示：
互联网中大量的重复页面这个其实是不用质疑的，转载的好多的，纯原创手打文章被采集的数量绝对不在少数哟~~！
页面重复4大类型：
1：两篇文章内容和布局毫无差别，这种重复就是完全重复页面~~！
2：两篇文章内容相同，但是布局格式不同，这种重复叫做内容重复~~！
3：两篇内容文章部分相同，布局格式也相同，这种重复叫做布局重复~~！
4：两篇内容文章部分相同，布局格式不同，这种重复叫做部分重复页面~~!
基本包含所有内容重复了，第一个就别去做了，没意义，如果要做就做2,3,4,这几个还是可以做的~~！
搜索引擎他会侧重去扫描索引库中检测所有的网页，如果发现重复页面，他会自动将重复得页面从索引库中去掉，就可以节省一部分的存储空间，剩余得空空间可以放置更多有效页面~~！
有部分站点一开始索引中还是有较多，但是突然一段时间索引量就快速下降，那么很有可能是网站中的页面质量不过关导致的，索引库的总量是一个定量，他将会在不定期的进行排查，看看那个页面质量较低，然后就删除掉，然后补充新的页面~~！
搜索引擎还可以通过已重复得页面进行标记，下次自动避开这些页面，从而提高蜘蛛抓取速度和效率~~！
某个网站如果镜像了，某网内容相对交欢迎，也意味着这个这个站点内容比较重要。
原文：https://www.cnblogs.com/leigood/p/11256343.html