Python urllib 库提供了一个从指定的 URL 地址获取网页数据，然后对其进行分析处理，获取想要的数据。
一、urllib模块urlopen()函数：
urlopen(url, data=None, proxies=None)
创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。
参数url表示远程数据的路径，一般是网址；
参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get)；
参数proxies用于设置代理。
urlopen返回 一个类文件对象(fd)，它提供了如下方法：
read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息(header)
getcode()：返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
geturl()：返回请求的url；
二、实例
1、打开一个网页获取所有内容
from urllib import urlopen doc = urlopen("http://www.baidu.com").read() print doc
2、获取http头部（头中有编码格式信息）
from urllib import urlopen doc = urlopen("http://www.baidu.com") print doc.info() print doc.info().getheader(‘Content-Type‘)
3、调用接口，并处理返回值json
1 def start_pack(real_match): 2 3 for x in real_match.keys(): 4 start_url = ‘http://www.google.com/start.do?ips=%s&versionId=%s&operator=dw_%s‘ % (",".join(real_match[x]), x,os.getlogin()) 5 start_html = urllib2.urlopen(start_url) 6 start_json = json.loads(start_html.read()) 7 8 task_url = ‘http://www.google.com/TaskId.do?task_id=%s‘ % start_json[‘object‘][‘taskId‘] 9 task_html = urllib2.urlopen(task_url) 10 task_json = json.loads(task_html.read()) 11 12 if start_json[‘code‘] == 0: 13 print "package %s start succees!" % task_json[‘object‘][0][‘package_name‘] 14 else: 15 print "package %s start error!" % task_json[‘object‘][0][‘package_name‘] 16 17 start_html.close() 18 task_html.close()
python urllib模块的urlopen()的使用方法及实例
原文：http://www.cnblogs.com/langdashu/p/4963053.html