首页 > 其他 > 详细

scrapy框架-2-初始化工程

时间:2021-04-15 15:13:11      阅读:19      评论:0      收藏:0      [点我收藏+]

scrapy startproject ProName
- cd ProName
- scrapy genspider spiderName www.xxx.com :创建爬虫文件
- 执行:scrapy crawl spiderName

import scrapy


class FirstspiderSpider(scrapy.Spider):
    #name作为爬虫文件的唯一标识符
    name = firstSpider
    #allowed_domains是可以通过的域名信息,如不需要可以注释掉
    allowed_domains = [www.xxx.com]
    发送请求的url列表
    start_urls = [http://www.xxx.com/,http://www.xxx.com/]

    #数据解析相关函数
    def parse(self, response):
        pass

 

scrapy框架-2-初始化工程

原文:https://www.cnblogs.com/yehua-night/p/14661540.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!