首页 > 其他 > 详细

爬百度100次

时间:2018-02-28 22:05:03      阅读:159      评论:0      收藏:0      [点我收藏+]
 1 import requests
 2 import time
 3  
 4 def getHTMLText(url):
 5     try:
 6         r= requests.get(url, timeout= 20)  
 7         r.raise_for_status() 
 8         r.encoding= r.apparent_encoding
 9         return r.text
10     except:
11         return "异常退出"
12  
13 def main():
14     url = "https://www.baidu.com"
15     start= time.time()
16     for i in range(100):
17         getHTMLText(url)
18         print(第%d次成功%(i+1))
19         
20     end= time.time()
21     print("爬取用时为: ", (end- start), "") 
22  
23 if __name__ == "__main__":  
24     main()  

基本爬虫框架,注意raise_fo_status与try,except的配合使用,方便检查错误

爬百度100次

原文:https://www.cnblogs.com/kangdong/p/8485863.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!