网页去重算法-怎么和搜索引擎算法做斗争

　　不知道大家有没有仔细去研究过搜索引擎爬虫抓取的一个过程，这里可以简单的说一下：

　　一、定(要知道你准备在哪个范围或者网站去搜索);百度提交，合作DNS，已有爬虫入口

　　二、爬(将所有的网站的内容全部爬下来)

　　三、取(分析数据，去掉对我们没用处的数据); 去重：Shingle算法》SuperShinge算法》I-Match算法》SimHash算法

　　四、存(按照我们想要的方式存储和使用)

　　五、表(可以根据数据的类型通过一些图标展示)

　　搜索引擎简单的看就是抓取到页面到数据库，然后存储页面到数据库，到数据库取出页面进行展现，所以这里面是有很多算法的，到现在搜索引擎为了防止作弊，更好的满足用户需求对很多算法已经进行改进，具体的有哪些基础算法大家可以自己去了解(点击：

SEO算法 -进行了解 )。今天主要讲的是源码去重，也就是第三部取。

　　通过上面几个步骤可以了解到，搜索引擎不可能把互联网上的所有页面都存储到数据库，在把你的页面存到数据库之前是要对你的页面进行检查的，检查你的页面是否跟已经存储的页面重复了，这也是很多seoer要去做伪原创增加收录几率的原因。

　　根据去重的基础算法可以了解到页面去重它是分代码去重和内容去重的，如果我把别人网站的模板程序原封不动的拿过来做网站，那我需要怎么做代码去重呢?今天分享一下怎么做代码去重。

　　如图，可以看到在每个模板的class后面加上自己的特征字符，这样是既不不影响css样式，又可以做到代码去重的效果，欺骗搜索引擎，告诉它我这是你没有见过的代码程序。

　　很多东西说出来简单，都是经过很多实操总结出来的，大家需要多去操作，那给大家提一下发散的问题。

　　如果去重算法有效的话，互联网上面这么多相同程序的网站他们的代码几乎相同(很多程序用相同的模板：织梦，帝国等)，他们的权重排名为什么都可以做的很好?

　　去重算法他有一个发展升级的，简单的说就是最开始的Shingle算法，到后面的SuperShinge算法再升级到I-Match算法之后到SimHash算法，现在每个搜索引擎的算法都是在这些基础的算法上面进行升级改进，我们可以了解大致的原理。

　　简单点说就是搜索引擎给每个页面一个指纹，每个页面分层很多个小模块，由很多个小模块组成一个页面，就像指纹一样由很多条线组成。

　　知道这个原理的话我们就知道现在大家所做的伪原创是没有用的，打乱段落顺序，改一些词，是不会影响页面指纹的。

　　真正的可以做到抄别人内容，还不被判定为重复内容要怎么去做呢?

　　首先了解一个机制，搜索引擎存储的页面数据他是分层级的，简单点说就是你输入一个搜索词的时候它优先排名的是优质层的数据，其次再是普通层，劣质层。平时看到的很多高权重平台他的内页的排名也可以超过很多网站首页有这里面的原因。

　　当2个网站程序代码几乎相同，内容也几乎相同的时候，搜索引擎怎么去发现他们是重复的呢?

　　因为搜索引擎存储的数据量很大，不可能每存储一个新页面就把之前所有存储的页面拿出来对比，那他只能是通过算法判断拿出与新页面标题描述相关的优质层的页面，来与新页面进行重复度对比。如果重复度达到某个值那么他就会被判断为重复内容，就被去重算法给去掉不被收录，如果没有被判定为重复内容则被收录到劣质层。当你想对这个新页面做优化让他的排名有所提，进入到优质层，那它相应的要求也会提升，它会调取更多的页面数据出来，与其进行对比，而不仅仅是通过调取相关标题描述的数据。这样的话就会被搜索引擎发现，它不是原创的，通过综合的一个评估不给予它进入到优质层。

　　这也是我们看到的一个现象，为什么很多抄的内容可以收录，但是没办法获得好的排名。

　　如果我们抄了一篇文章，但是我们用了不同的标题，那对于搜索引擎来说，他在劣质层里面没办法发现他是重复的。这也是解释很多奇怪的现象，比如图中：

　　一个克隆的网站，因为标题的不同，搜索引擎在抓取去重过程中没有发现它，但是之后如果这个页面想要进去到优质层数据库，它就会被发现是重复的，不会给予好的排名展现。

　　总结：市面上面的伪原创工具是没有用的，没有影响要页面的指纹，如果非要抄别人的修改标题即可，但是不会获得好的排名。在新站初期可以用改标题的方法增加收录，增加网站蜘蛛，中期开始要自己做内容，为获得好的排名展现做铺垫。

　　那如果就是想抄别人的内容，放到自己的网站上面，怎么把它变成优质的内容?

　　文章转载：https://leosem.com/