简单的实现谷歌的代理：
架构就是下面这么简单。
=================
my server outside GFW | <----------------------> your browser visit my server at port 8080
=================
代码如下：
#coding=utf-8
from twisted.web import resource, server
from twisted.internet import reactor,endpoints
from twisted.python import log
import urllib2
import urllib
import sys
log.startLogging(sys.stdout)
class router(resource.Resource):
def getChild(self, path, request):
url = r‘https://www.google.com‘
if path=="":
return Index(url)
else:
return Index(url+ request.uri)
class Index(resource.Resource):
def __init__(self, url):
self.url = url
def render_GET(self, request):
req = urllib2.Request(self.url)
res = urllib2.urlopen(req)
return res.read()
rsc = router()
f = server.Site(rsc)
endpoints.serverFromString(reactor, ‘tcp:8001‘).listen(f)
reactor.run()
使用上面代码有一个问题，谷歌对于被爬是不爽的。因此需要伪装下，加上一个headers参数给request请求。
headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6‘}
req = urllib2.Request(self.url, headers=headers)
这样就解决了403问题。那么接下来只要变成一个系统后台任务就可以了。
原文：http://www.cnblogs.com/Tommy-Yu/p/4105393.html