Spider就是大家经常说的爬虫、蜘蛛,是处于整个搜索引擎最上游的一个模块,此时要注意只有Spider抓回的页面或URL才会被索引和参与排名。但是参与排名的网页并不一定就被Spider抓取到了内容。

Spider是什么?Spider的抓取策略是什么?.jpg

Spider的抓取策略

(1)重要页面优先抓取策略

Spider认为页面的重要性指标是什么?

1.除了主站点本身的质量和权重影响以外。

2.导入链接的多少和导入链接的质量决定的。

(2)大站优先策略

被搜索引擎认定为“大站”的网站,一定有着稳定的服务器、良好的网站结构、优秀的用户体验、及时的资讯内容,权威的相关资料、丰富的内容类型和庞大的网页数量等特征。如果想做新站秒收的策略:把新站的链接推到一些大站的首页是一个不错的选择。

(3)再次抓取更新策略

Spider把该网页索引并参与排名后,并不意味着Spider对该网页的工作已经结束了。现在互联网网页内容多是动态变化的,所以搜索引擎会为Spider设置一个再次抓取和更新页面的策略。