黑名单
资讯类信息类网站追求高访问量，但是由于其信息的价值，往往容易被不法分子利用，通过爬虫技术，快速获取信息，个别特种行业网站信息通过爬虫获取分析后，可以转换成商业机密进行出售。例如第三方火车票、机票、酒店刷票代购软件，电商刷评论、刷好评。
同时爬虫带来的伪流量也会给经营者带来错觉，产生错误的决策，有效避免网站被爬虫反复怕取成为每个网站都要考虑的基本问题。在基于技术层面分出爬虫用户后，需要将此类用户进行有效的屏蔽，这就是黑名单的典型应用。
ps: 不是说爬虫一定做摧毁性的工作，有些小型网站需要爬虫为其带来一定流量。
白名单
对于安全性更高的应用访问，仅仅靠黑名单是不能解决安全问题的，此时需要设定可访问的用户群体，依赖白名单做更为苛刻的访问验证.
Trips 12:
原文：https://www.cnblogs.com/ifme/p/12304709.html