urllib2是urllib扩展的库，不仅可以使用http协议，而且可以扩展到ftp等协议。
常用函数一：urlopen(url, data=None, timeout=<object object>)
最基本的用法和urllib下面的urlopen(url, data=None)一样，传递一个URL参数， 添加post需要的data，返回值是一个类似于file的对象， 可以使用通常的文件操作来操作这个对象，比如read，write等。
urllib2.urlopen()参数可以用一个request的对象来代替URL，而且增加了一个URLError异常，对于HTTP协议的错误，增加了一个HTTPError的异常，其中这个HTTPError自动变成一个合法的response来返回。
最简单的使用情况：
import urllib2 url = "http://www.baidu.com" response = urllib2.urlopen(url) print response.info()
默认如果只有一个url参数，那么默认是使用HTTP GET 的方法来访问url。
如果访问的url不存在， 那么会返回一个HTTPError
import urllib2 url = "http://www.jnrain.com/go" response = urllib2.urlopen(url) print response.info() print response.read()
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp) urllib2.HTTPError: HTTP Error 404: Not Found可以看到是404错误，默认情况下，只要不是2XX的返回码，都会被当成错误对待。可以通过HTTPError来捕捉错误信息
import urllib2
url = "http://www.jnrain.com/go"
try:
response = urllib2.urlopen(url)
print response.info()
print response.read()
except urllib2.HTTPError, e:
print e.getcode()
print e.reason
print e.geturl()
print "-------------------------"
print e.info()
print e.read()通过捕捉错误可以打印出详细的错误信息：
404 Not Found http://www.jnrain.com/go ------------------------- Server: nginx/1.4.1 Date: Wed, 19 Feb 2014 08:51:50 GMT Content-Type: text/html; charset=gb18030 Content-Length: 168 Connection: close <html> <head><title>404 Not Found</title></head> <body bgcolor="white"> <center><h1>404 Not Found</h1></center> <hr><center>nginx/1.4.1</center> </body> </html>
import urllib2
request = urllib2.Request("http://www.jnrain.com/wForum/logon.php")
request.add_header(‘User-agent‘, ‘Internet Explorer‘)
try:
response = urllib2.urlopen(request)
except urllib2.URLError, e:
print e.code
headers = response.info()
data = response.read()
这样我们的http request头部中的user-agent就变成了Internet Explorer，如果创建reques的时候不添加data， 那么默认使用GET方法，如果添加data，那么使用POST方法，下面是Request类中的方法：
def get_method(self):
if self.has_data():
return "POST"
else:
return "GET"
# XXX these helper methods are lame
def add_data(self, data):
self.data = data
def has_data(self):
return self.data is not None
def get_data(self):
return self.dataimport urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
url = "http://www.baidu.com"
request = urllib2.Request(url)
request.add_header("User-Agent", "Firefox")
response = urllib2.urlopen(request)
post 表单的相关使用:
import urllib2
import urllib
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
url = "https://www.account.xiaomi.com/pass/serviceLoginAuth2"
postdata = urllib.urlencode({"user":"XXXXXXX",
"_json":"true",
"pwd":"XXXXXXX",
"sid":"eshop",
"_sign":"g7K1HSZPYIaO4tSlhS1xdDJBPV8=",
"callback":"http://order.xiaomi.com/login/callback?followup=http%3A%2F%2Fwww.xiaomi.com%2Findex.php&sign=ZjEwMWVlOTY3MWM1OGE3YjYxNGRiZjQ5MzJmYjI5NDE0ZWY0NzY5Mw,," })
request = urllib2.Request(url, data=postdata)
request.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:26.0) Gecko/20100101 Firefox/26.0")
try:
response = urllib2.urlopen(request)
print response.info()
print response.read()
except urllib2.HTTPError,e:
print e.getcode()
print e.reason 上面是小米的自动登陆界面的表单post提交，可以使用firefox和Tamper Data来获取post需要的参数，然后填写正确的用户名和密码就可以了。
原文：http://blog.csdn.net/youfuchen/article/details/19492821