我们先以SEO优化的过程进行分析,先索引后收录的情况为主题。逆向思维看待问题,网站想要收录首先需要有页面的存在,他是收录的内容的载体,搜索引擎放出爬行蜘蛛对网站的页面进行爬行抓取;然后搜索引擎爬行蜘蛛将抓取到的内容进行反馈,再对内容进行评分,将通过第一次筛选的页面放入数据库中形成网站的索引,这一部分数据我们可以通过站长工具(不管是百度还是360搜狗都有自己队友的站长平台,咱们下方以百度站长平台为准。)索引量进行查询参考,最后数据将索引内容进行再次评分形成收录,放出快照。这就是一个搜索引擎检索展示结果。当然也有新手站长在说我怎么知道网站是否有搜索引擎蜘蛛进行抓呢?如何引导搜索蜘蛛呢?


 下面先做下简单分析,明确哪些事情会影响爬行蜘蛛。
1.服务器稳定性
服务器稳定这个很容理解,网站是否可以正常收录是否获取排名都和服务器的稳定有着很大的关系。如果服务器稳定性很差那么这个网站基本上不会有排名。简单举例来说站长通过技术手段告知蜘蛛进行抓取,搜索引擎蜘蛛来到网站却发现无法进入网站,那么搜索蜘蛛就会返回,并告知无法访问。多次这样的结果搜索引擎肯定不会在派蜘蛛进行抓取。
2.网站死链
网站页面不能存在死链。网站死链的存在就是告诉蜘蛛“此路不通”,那么蜘蛛就不会在爬取这样的链接内容,而当网站页面中存在了大量的死链接的时候,很可能会导致搜索引擎蜘蛛不再爬行网站,这样就不会在有收录更新和网站内容收录了。
3.网站地图
网站地图分为俩种分别:xml和html两种格式。这两个种的格式简单点来说,分给人看,给搜索引擎蜘蛛看。xml是给搜索引擎蜘蛛抓取使用让搜索引擎蜘蛛更加容易的抓取到网站所有内容。html这是让网友更加简单快捷的找到需要的内容或信息。为了让新站快速收录地图是必须要做!
5.特殊指令
搜索引擎的特殊指令就太多了,但是对于小白站长来说有一种指令是不能接触。robots.txt,这种指令最常见的例如淘宝,它是禁止搜索引擎爬行蜘蛛进行抓取。指令是用来告知搜索引擎那些页面可以被抓取那些页面不能被抓取。很多站长在不确定指令具体含义的情况下放到网站根目录就很容易造成网站长期不收录。