搜索引擎蜘蛛 110 views

搜索引擎蜘蛛是一种程序,用来抓取网站的内容的。就像古代的锦衣卫,秘密的收集每一个人的信息,最后反馈到皇帝那里,这些蜘蛛一般是看不见行踪的,只有在网站后台才能看见痕迹,也就是说在网站日志中才能看见蜘蛛具体在网站上都做了什么?那么搜索引擎都有哪些呢,怎样才能从日志中看到搜索引擎的蜘蛛呢?
  搜索引擎的蜘蛛很多,不同的搜索引擎有不同的名称。如谷歌的叫做Googlebot,成为谷歌机器人;百度的叫做Baiduspider,360的叫做360spider,搜狗的叫做Sougouspider。这些蜘蛛或者机器人作用都一样是抓取网站的信息的。
  因为现在谷歌退出国内了,所以在现在的搜索引擎一般都是指的百度,搜狗和360,在这个时候一定要注意这三个搜索引擎的蜘蛛,特别是百度的蜘蛛。可以通过网站的访问地址可以看出蜘蛛的行为。
图中为网站日志后台,从中可以看到搜索引擎的蜘蛛对网站的抓取情况,1.为360蜘蛛,2为百度指数,3为谷歌蜘蛛。
由 huluwa 于 2018-3-3 15:29 发布    属于分类: seo基础    共有评论:0条 拥有标签:
发表评论:
* 昵称:
* 邮箱:
网站: