scrapy startproject ProName
- cd ProName
- scrapy genspider spiderName www.xxx.com :创建爬虫文件
- 执行:scrapy crawl spiderName
import scrapy class FirstspiderSpider(scrapy.Spider): #name作为爬虫文件的唯一标识符 name = ‘firstSpider‘ #allowed_domains是可以通过的域名信息,如不需要可以注释掉 allowed_domains = [‘www.xxx.com‘] 发送请求的url列表 start_urls = [‘http://www.xxx.com/‘,‘http://www.xxx.com/‘] #数据解析相关函数 def parse(self, response): pass
原文:https://www.cnblogs.com/yehua-night/p/14661540.html