第四个模块 robotparser：
主要是用来识别网站的 robots.txt 文件，然后判断哪些网站可以爬，哪些网站不可以爬的，其实用的比较少。
第八节：web爬虫之urllib（五）
原文：https://www.cnblogs.com/zhaco/p/10478937.html
