结构布局优化：用扁平化结构（层次结构超过三层小蜘蛛就不愿意爬了）
控制首页链接数量（中小网站100以内，页面导航、底部导航、锚文字链接等）
扁平化的目录层次（小蜘蛛跳转3次可以到达网站内任何一个内页，网站的设计主页、栏目、内容页，不要用纵线性的结构）
导航seo优化（头部、底部、内容部分，主导航、副导航、分类导航，尽量用文字，面包屑导航，在每个网站上留下面包屑，使用户可以了解网站组织形式，放于正文的左上方）
内容页面的布局细节
左面正文，右面热门文章、相关文章，下面是版权信息及链接，栏目排布：首页123456789下拉选择最赞）
网站的加载速度会影响小蜘蛛的爬行，页面最好不要超过100k
原文：http://www.cnblogs.com/family-626-77/p/5585809.html