参考mongodb官网之前完成了mongodb在虚拟机window xp以及debian上的安装,但最新的3.0版本需要64位,所以从xp转向了debian,但是debian上需要每次设置log,数据库等位置命令。(此点没有弄清,但是window上没有问题,但是基本上没有影响)
之所以转向mongodb,只因为存储是一种jsonlike的数据,而每次抓取的数据都是类似以下的数据(1688.com上一条评论数据):
{
"member":"l**3",
"memberTargetUrl":"http://vip.1688.com/club/buyer_growth_intr.htm",
"membericon":"http://i04.c.aliimg.com/cms/upload/member/club/buy_2_star.gif",
"countQuantity":null,"pnaicon":"http://i04.c.aliimg.com/cms/upload/detail/comment/personal-cert.png",
"quantity":30,
"tbicon":"http://i01.c.aliimg.com/cms/upload/detail/comment/taobao-icon.png",
"tips":{"tbtip":"淘宝店家","pnatip":"个人实名认证","membertip":"在线采购金额等级,展示采购商在线采购实力"},
"rateItem":[{
"explainContent":"",
"explainTime":"",
"remarkContent":"不错 一分价钱一分货 大概就那样 能印广告就更好了",
"remarkTime":"2015-03-25 15:03:53","starLevel":4
}]
}
如果存储到mysql等需要进行数据的转换/正则匹配,需要花费大量时间进行数据的分析,从而降低存储和读取的效率;使用mongodb这类Nosql就可以直接存储。
介绍:(以下图片源自官网)
数据存储在每个db里面,每个db里面好多Collection,里面存储类json的docunment。
操作:
1.查询(Query)
2.修改(modification)
这里就像我每次抓取到的json直接ali_data.comment.insert(a)#a就是一个json
原文:http://www.cnblogs.com/yinruyi/p/4368589.html