首页 > 其他 > 详细

node写简单的爬虫(二)

时间:2018-02-10 16:19:40      阅读:229      评论:0      收藏:0      [点我收藏+]

上次我们已经成功的爬取了网站上的图片,现在我们把爬取的图片存储到本地

http.get(url, function (res) {
        var imageData =‘‘;
        res.setEncoding("binary");
        res.on(‘data‘,function(data){  //图片加载到内存变量
            imageData += data;
        }).on(‘end‘,function(){        //图片加载完
            var $=cheerio.load(imageData);
            $Imgs = $(‘img‘),
            $Imgs.each((iten,i)=>{
            console.log($(i).attr(‘src‘)+"------");
            var urlimg=$(i).attr(‘src‘);
            var filename= path.basename(urlimg);;
            downloadImg(urlimg,filename)
           })   
        });
    });

  function downloadImg(url, filename) {
    request(url).on(‘error‘,function(){
        console.log(‘done no‘);
    }).pipe(fs.createWriteStream(‘images/‘ + filename));//保存图片到文件夹
}

 

node写简单的爬虫(二)

原文:https://www.cnblogs.com/aSnow/p/8438945.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!