服务端可以通过三种途径进行robot检测：
第一种，利用http的User-Agent header进行判断，这种是最正常的判断，但这种不能检测出不友好的请求，它可以伪造。
第二种，限制请求频率，也就是进行流控。普通用户不可能在一定的时间内请求过多次，所以可以检测出。但请求方可以进行随机，限时进行请求。
第三种，根据日志进行分析来检测robot,这种可以检测出slow robot.
原文:http://blog.csdn.net/hongchangfirst/article/details/24704869
作者:hongchangfirst
hongchangfirst的主页:http://blog.csdn.net/hongchangfirst
原文：http://blog.csdn.net/hongchangfirst/article/details/24704869