有时候读取同一个url，服务器可能会返回不同的response，并不是爬虫程序代码的问题，而是服务器的问题，初次试验request时，最好 把response文本保存在一个txt文件当中，以便后续的比对。得到response文本之后就可以利用正则表达式或通过查找字符串来获取信息了。
只做get请求时，requests.get(url)和urllib.open(url).read()效果是相同的。
要熟练使用requests库或urllib2库，做get,post请求数据，设置参数，获取head及body。（待续）
原文：http://www.cnblogs.com/aaronhoo/p/5251635.html