当前您在:主页>SEO基础>链接> 蜘蛛日志
蜘蛛日志
分类:链接 热度:

  网站服务器中一般会记录用户操作和蜘蛛爬行,这两种行为都会产生一种log文件。一般保存在服务器log目录下,而apache服务器中蜘蛛日志一般是access.log的文件,日志中有很多的参数,大家可以在服务器中进行配置。

  各大搜索引擎的蜘蛛都有名字,用CTRL+F搜索功能查找,这里先普及一下关于搜索引擎蜘蛛的一点小知识:

百度蜘蛛

  百度的叫baiduspider;

  谷歌的叫Googlebot;

  微软的叫bingbot;

  搜狐的叫Sogou web spider;

  腾讯的叫Sosospider;

  当搜到这些关键词的时候,恭喜你,你的网站已经有蜘蛛过来抓取了。

  一般日志的呈现形式如下:

  125.54.77.33 - - [07/Sep/2016:19:16:21 +0800] "GET /product/id=6 HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/3.0; +http://www.baidu.com/search/spider.html)"

  其中几个比较重要的参数跟大家讲解一下

  /product/id=6 是访问的url地址

  200 是服务器返回的状态码

  Baiduspider/3.0 是指抓取的蜘蛛

  作为一个优秀的SEO需要有一定的分析能力,能够对日志进行一定的分析,这些分析技巧这里不做过多讲解。

百度搜索:南京SEO,了解更多!
上一篇:Robots协议 下一篇:URL
猜你喜欢
热门排行
精彩图文