刚开始执行scrapy crawl zentaos可以完成扫描
但是通过linux的crontab任务，只执行了连接mongodb的操作，并创建了索引
也就是说scrapy crawl zentaos部分的任务没有执行
什么原因呢？
加上
export PATH=$PATH:/usr/local/bin
就可以解决问题
mongo会自动创建索引
linux下执行scrapy的爬虫定时任务
原文：http://www.cnblogs.com/qmfsun/p/6290361.html
