首页 > Web开发 > 详细

scrapy 修改URL爬取起始位置

时间:2017-05-10 13:50:46      阅读:668      评论:0      收藏:0      [点我收藏+]
import scrapy
from Autopjt.items import myItem
from scrapy.http import Request

class AutospdSpider(scrapy.Spider):
    name = "fulong_spider"
    start_urls = [http://category.dangdang.com/pg1-cid4007379.html]
    url2 = (http://dangdang.com,http://jd.com,http://tianmao.com,)

    def start_requests(self):
        for url in self.url2:
            yield self.make_requests_from_url(url)

    def parse(self, response):
        item = myItem()
        item[name] =response.xpath(/html/head/title/text()).extract()
        print(item[name])
需要重写start_requests方法

scrapy 修改URL爬取起始位置

原文:http://www.cnblogs.com/Erick-L/p/6835433.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!