Python的urllib2是一个可以用来获取URLs的函数库.
urllib2为我们提供了一个很基础的函数: urlopen, 来帮助我们通过给定的URL来获取网页数据(网页源代码)
import urllib2 # url = ‘https://www.zhihu.com/people/vihu‘ # 待访问的url response = urllib2.urlopen(url) # 请求访问/打开这个url urlContent = response.read() # 读取内容
读取的部分内容如下图所示:
再看下面的代码, 得到的结果和上面是相同的. HTTP基于请求-应答的机制. 由主机发出请求(Request), 然后由服务器端提供应答(urlopen).
import urllib2 url = ‘https://www.zhihu.com/people/vihu‘ req = urllib2.Request(url) # 创建一个请求对象 response = urllib2.urlopen(req) # 返回一个相关请求的response对象 urlContent = response.read()
原文：http://www.cnblogs.com/zhao441354231/p/5968699.html