首页 > 其他 > 详细

每日关键词-170226

时间:2017-02-26 12:05:26      阅读:200      评论:0      收藏:0      [点我收藏+]

数据库分表:归档 当数据量庞大的时候,水平分表,适当归档

 

昨晚爬金东数据,开了10个线程,没有给线程sleep,然后爬的慢不说。有时候ajax请求的价格返回给我的是空的,今天打算做一个winform的工具,支持断点续爬,原理我觉得应该是在爬url的时候,没爬完一个url,给这条信息加一个字段isSuc =true的表记,这样下次爬的时候直接找这个字段为false 就行。

每日关键词-170226

原文:http://www.cnblogs.com/wh123/p/6443913.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!