当前您在:主页 > SEO案例 > SEO案例分析第一期 淘宝网robots之谜
SEO案例分析第一期 淘宝网robots之谜
分类:SEO案例 热度:

  说到淘宝网可能大家都会想到阿里巴巴和马云,阿里巴巴是马云建立的一个帝国,而淘宝网则是帝国中的支柱。很多人都没有见过大型网站的优化方案,今天就让我给大家介绍一下淘宝网的优化分析,带大家了解一下淘宝网robots之谜。

  在百度搜索淘宝网大家可能会发现底部的描述和正常网站不太一样,因为robots文件禁止所有所有引擎抓取。显示为:由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。为什么会发生这样的情况呢,我们不难在淘宝网的robots.txt文件中发现其设置为:

  User-agent: Baiduspider

  Disallow: /

  这个指令的意思就是,禁止百度蜘蛛抓取任何页面,所以从搜索引擎规则来说,淘宝网是不应该存在收录的。但是,百度不可能放着这么大的资源不抓,所以百度淘宝的关系一直很玄妙。

淘宝网

  最近有小伙伴发现,淘宝放出了几个不太重要的目录给搜索引擎抓取:

  User-agent: Baiduspider

  Allow: /article

  Allow: /oshtml

  Allow: /product

  Allow: /spu

  Allow: /dianpu

  Allow: /wenzhang

  Allow: /oversea

  Disallow: /

  这几个目录可谓可以可无,百度其实想要抓取的是整个商城的目录,可惜淘宝并没有给它这个机会。

  为什么淘宝不给百度抓取页面呢?

  淘宝自己内部的资源很多,马云想要让用户养成习惯在淘宝搜索商品,而不是在百度上寻找。淘宝这一招非常高明,如果不设置robots文件,到时候很多用户都会利用搜索引擎来寻找商品,势必导致流量的损失。其次,用户消费的大数据是一个非常珍贵的数据,淘宝当然也不会与百度分享啦。

  可以这么说,如果没有robots,淘宝不可能这么快坐稳B2B、B2C、C2C行业龙头的位置。事实证明,马云的眼光还是非常准确的,如今百度再也不能与淘宝竞争了,因为百度没有所谓的忠实用户。

  当然我们不难发现,淘宝也做了百度竞价。不仅如此淘宝还买了百度的阿拉丁排名,这就是淘宝虽然屏蔽了搜索引擎,但是很多排名仍然在百度首页的秘密。淘宝的很多地方优化做的并不是那么完美,所以对于新手SEO或者小站的优化来说,不用刻意去模仿大站的优化手法。

百度搜索:南京SEO,了解更多!
上一篇:没有了 下一篇:SEO案例分析之金融网站优化
猜你喜欢
热门排行
精彩图文