所有的搜索引擎都表示自己的蜘蛛/Spider对网站的抓取行为和普通用户的访问行为没有太大区别。在普通用户的角度是没有问题,但是站在SEO的角度来说,这句话就不对了。为什么这么说呢?

蜘蛛Spider和普通用户有什么区别?.jpg

在一个网站的网页里多东西是普通用户看不到,但是对于蜘蛛来说可以;网页上也有很多东西,普通用户可以很清晰分辨,但是蜘蛛/Spider不行。怎么说呢?蜘蛛/Spider是一个既弱智又明智的用户。

1.蜘蛛/Spider可以快速分辨网页内容,是否被挂黑链等,但是完全无法理解图片内容,不能读取JavaScript,Iframe,Ajax和Flash中的内容,普通用户却是恰恰相反;

2.蜘蛛/Spider访问网站时,是没有Cookie的,且原则上Spider不会抓取robots中已经屏蔽的内容,普通用户无限制访问的;

3.蜘蛛/Spider对于动态参数URL网站抓取,有可能会陷入死循环,但是所有普通用户是不会的掉入这个微小的陷阱;

4.蜘蛛/SpiderSpider觉得文章特别好,但是普通用户可能觉得这个时狗屁不通;Spider暂时还不能真正判断文章是否原创,是否是拼凑而来,但是普通用户可以通过多种方式来确定文章是否是原创等。

5.蜘蛛/Spider毕竟是技术驱动的程序,它的行为是在一定范围内的标准的正面逻辑思维,在特殊条件下,无法判断正确性。因此给了站长和SEO人员很大的操作空间。站长和SEO人员在充分了解到蜘蛛/Spider和普通用户的区别后,可以更好的优化网站,使网站内容可以被充分抓取;