某些网站禁止未登陆用户访问的。但它会对搜索引擎开绿灯，搜索引擎带来的SEO关键词流量是非常可观的，当你找到这样的网站，不得不用它时，只能按照网站的要求注册账号甚至交一定的会员费。接下来通过用身份欺骗绕过网站的访问权限限制，进而直接访问网站内容。
在User agent中去除Select automatically 的选择，最后在下拉菜单中选择Googlebot
以上配置完，浏览器当前标签页的访问就能欺骗你要访问网站，被当作google的爬虫来特殊对待，对你彻底的开放数据
原文：https://www.cnblogs.com/feiyucha/p/11070343.html