SEO url改写技巧：百度spider采用url链接递归

站长必上的网站 通过实战数据，了解百度爬虫的爬行策略

　　SEO:百度蜘蛛会递归url路径

　　2008-01-21 09:36

　　第一次投稿，希望这篇文章对大家有帮助

　　http://www.yijiawang.com.cn/web/product/68073/price_compare.html

　　这是易价网价格比较页面，通过收录观测，百度蜘蛛没有收录原页，而是收录了http://www.yijiawang.com.cn/web/product/68073/

　　并且通过access log 发现，百度还会沿着目录路径访问

　　http://www.yijiawang.com.cn/web/product/ 和 http://www.yijiawang.com.cn/web/(但是遇到了402错误)

　　观察结果证明了，良好的目录结构也是对蜘蛛的一种友好示意。

　　于是为了配合http://www.yijiawang.com.cn/price/68073.html 的新mod_rewrite url

　　我将http://www.yijiawang.com.cn/price/ 和 http://www.yijiawang.com.cn/price 301重定向到易价网的产品目录页 http://www.yijiawang.com.cn/product 。

　　并且把http://www.yijiawang.com.cn/browse/9 定义为产品分类目录的首页(例如手机首页)

　　把http://www.yijiawang.com.cn/browse/9/8定位为分类目录某个品牌的首页(例如手机中的诺基亚手机)

　　这样，不仅对搜索引擎，对用户也是一种友好的信息展示!