首页 > Web开发 > 详细

nodejs 爬虫模板 map&array 数据模型

时间:2018-02-08 12:42:31      阅读:172      评论:0      收藏:0      [点我收藏+]
app.get(‘/knowledge‘, function (req, res, next) {
    var listUid = req.query.listUid;
    var url = "http://www.lengdou.net/page/" + listUid + "/";
    // console.log(‘--------开始检测--------‘);
    var content = {};
    var map = new Array();
    superagent
        .get(url)
        .end(function (err, sres) { // callback
            // 常规的错误处理
       if (err) {
                res.send(‘{\"code\":\"300\",\"msg\":\"读取出错!!\"}‘);
            }
            try {
                var $ = cheerio.load(sres.text);
                var lists = $(".list").each(function (index, element) {
                    var text = $(this).find(".list-content").find("p").text();
                    var url = $(this).find(".list-content").find("img").attr("src");
                    console.log(text + url + "\n");
                    var content = {};
                    content[‘text‘] = text;
                    content[‘url‘] = url;
                    map[index] = content;
                });
                res.send(JSON.stringify(map));
            } catch (e) {
            }
        });
});

 

nodejs 爬虫模板 map&array 数据模型

原文:https://www.cnblogs.com/yysbolg/p/8430965.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!