首页 > 编程语言 > 详细

Python爬虫框架Scrapy 学习笔记 10.1 -------【实战】 抓取天猫某网店所有宝贝详情

时间:2015-01-12 06:54:51      阅读:380      评论:0      收藏:0      [点我收藏+]

第一部分:任务描述

起始页面:http://shanhuijj.tmall.com/search.htm?spm=a1z10.3-b.w4011-3112923129.1.KjGkS2

这个页面列出了网店的所有宝贝,如图:

技术分享


点击进入宝贝详情页面,例如:http://detail.tmall.com/item.htm?spm=a1z10.3-b.w4011-3112923129.62.xGx75B&id=10910218037&rn=918f15e64b1131d19b6f0f9585ec0330&abbucket=1

目标数据:

1.商品名称(productName),

2.价格区间(priceRange)
3.月销量(monthSale)

4.累计评价(totalComment)

5.收藏人数(popularity)

6.成交记录(tradeRecord):买家(buyer),型号(type),数量(amount),价格(price),成交时间(tradeTime)


技术分享


技术分享


Python爬虫框架Scrapy 学习笔记 10.1 -------【实战】 抓取天猫某网店所有宝贝详情

原文:http://dingbo.blog.51cto.com/8808323/1602223

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!