爬虫是个好东西，一直都是。
只是，“好”的定义却在发生着变化。
（以下纯属个人意见，不喜勿喷）
爬虫的简单定义，就是使用程序自动从网站中获取信息。
获取信息做什么？这就因人而异了。
有人用来做搜索引擎，一般情况下是造福人类。
有人用来做数据分析，有时候是兴趣、有时候是手段。
有人用来做DDOS，一般情况下是满怀恶意的。
从技术上看，爬虫仅仅是个工具。技术无罪，不存在善恶之分，善恶仅存人心。
若人心不古，则。。我也不知道会发生啥。
但对爬虫来说，则慢慢的出现了反对的声音。
有robots协议，用道德进行防御，一般没啥用。
有iptables，用ip去拒绝，一般有用，但容易误伤。
有cookie、js、css、captcha，各显神通，拉开了爬虫的梯队。
原文：https://www.cnblogs.com/dyfblog/p/9941024.html