爬虫的限制
来源审查发布公告
Robots协议
实例
Robots协议基本语法
robots协议都在根目录下
Robots协议的遵守方式
使用
网络爬虫： 自动或人工识别robots.txt,再进行内容爬取。
约束性
如何遵守
爬虫带来的问题
原文：https://www.cnblogs.com/tingtin/p/12904536.html
