什么叫做搜索引擎？
所谓的搜索引擎指的是一个可以为网民提供检索（搜索）服务的系统，这个系统开发一款智能的爬虫程序，但它有个恐怖的名字：蜘蛛。
简单来说，蜘蛛：英文spider也叫机器人（bot），意思是搜索引擎放在互联网上不停爬行抓取网页的一种程序。白话理解，互联网理解为一张巨大的蜘蛛网，搜索引擎蜘蛛类似实质的机器人，而蜘蛛的主要任务就是在巨大的蜘蛛网（互联网）中浏览信息，然后把这些信息都抓取到搜索引擎的服务器上，建立索引库。
原文：https://www.cnblogs.com/lounianhuijia/p/11695881.html