1、爬虫的出现，可以在一定程度上代替手工访问网页，所以，原先我们需要人工去访问互联网信息的操作，现在都可以用爬虫自动化实现，这样可以更高效率地利用好互联网中的有效信息。
2、检索是一种行为，而索引是一种属性。如果有一个好的索引，则可以提高检索的效率，若没有索引，则索引的效率会很低。
3、用户爬虫是网络爬虫的其中一种类型。所谓用户爬虫，即专门用来爬取互联网中用户数据的一种爬虫。由于互联网中的用户数据信息，相对来说是比较敏感的数据信息，所以，用户爬虫的利用价值也相对比较高。
原文：https://www.cnblogs.com/MaGnet/p/10085945.html