在用抓取头条新闻的数据时出现以下问题：禁止抓取，结果数据没有出来
后来经过查询得知需要把settings.py里面 修改为ROBOTSTXT_OBEY = False就可以了， 默认True
scrapy 抓取数据被禁止的解决方法
原文：http://www.cnblogs.com/shaosks/p/6955729.html
