转自 http://blog.csdn.net/u012150179/article/details/38226103
通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度，这个深度是与start_urls中定义url的相对值。也就是相对 url的深度。例如定义url为：http://www.domz.com/game/,DEPTH_LIMIT=1那么限制爬取的只能是此url下一级 的网页。深度大于设置值的将被ignore。
如图：
原文：http://www.cnblogs.com/hadis-yuki/p/4889487.html
