对于一张网页，我们往往希望它是结构良好，内容清晰的，这样搜索引擎才能准确地认知它。
而反过来，又有一些情景，我们不希望内容能被轻易获取，比方说电商网站的交易额，教育网站的题目等。因为这些内容，往往是一个产品的生命线，必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。
但是世界上没有一个网站，能做到完美地反爬虫。
如果页面希望能在用户面前正常展示，同时又不给爬虫机会，就必须要做到识别真人与机器人。因此工程师们做了各种尝试，这些策略大多采用于后端，也是目前比较常规单有效的手段，比如：
而爬虫是可以无限逼近于真人的，比如：
所以我们说，100%的反爬虫策略？不存在的。
更多的是体力活，是个难易程度的问题。
不过作为前端工程师，我们可以增加一下游戏难度，设计出一些很(sang)有(xin)意(bing)思(kuang)的反爬虫策略。
例子：猫眼电影
猫眼电影里，对于票房数据，展示的并不是纯粹的数字。
页面使用了font-face定义了字符集，并通过unicode去映射展示。也就是说，除去图像识别，必须同时爬取字符集，才能识别出数字。
并且，每次刷新页面，字符集的url都是有变化的，无疑更大难度地增加了爬取成本。
例子：美团
与font的策略类似，美团里用到的是background拼凑。数字其实是图片，根据不同的background偏移，显示出不同的字符。
并且不同页面，图片的字符排序也是有区别的。不过理论上只需生成0-9与小数点，为何有重复字符就不是很懂。
页面A：
页面B：
例子：微信公众号文章
某些微信公众号的文章里，穿插了各种迷之字符，并且通过样式把这些字符隐藏掉。
这种方式虽然令人震惊…但其实没有太大的识别与过滤难度，甚至可以做得更好，不过也算是一种脑洞吧。
对了，我的手机流量可以找谁报销吗？
例子：汽车之家
汽车之家里，把关键的厂商信息，做到了伪元素的content里。
这也是一种思路：爬取网页，必须得解析css，需要拿到伪元素的content，这就提升了爬虫的难度。
例子：去哪儿
还有热爱数学的去哪儿，对于一个4位数字的机票价格，先用四个i标签渲染，再用两个b标签去绝对定位偏移量，覆盖故意展示错误的i标签，最后在视觉上形成正确的价格…
这说明爬虫会解析css还不行，还得会做数学题。
例子：网易云音乐
网易云音乐页面一打开，html源码里几乎只有一个iframe，并且它的src是空白的：about:blank。接着js开始运行，把整个页面的框架异步塞到了iframe里面…
不过这个方式带来的难度并不大，只是在异步与iframe处理上绕了个弯（或者有其他原因，不完全是基于反爬虫考虑），无论你是用selenium还是phantom，都有API可以拿到iframe里面的content信息。
例子：全网代理IP
在一些展示代理IP信息的页面，对于IP的保护也是大费周折。
他们会先把IP的数字与符号分割成dom节点，再在中间插入迷惑人的数字，如果爬虫不知道这个策略，还会以为自己成功拿到了数值；不过如果爬虫注意到，就很好解决了。
例子：去哪儿移动侧
同样会欺骗爬虫的还有去哪儿的移动版。
html里明明写的3211，视觉上展示的却是1233。原来他们重新定义了字符集，3与1的顺序刚好调换得来的结果…
如果你对爬虫有兴趣！我们公司可以提供很好的平台。下面贴出来我们公司招聘（点击），如果对职位有兴趣，可以私聊发送给我简历。
公司简介： 互联网时代信息无处不在，我们日常所接触的大量信息例如微博、社交媒体网站的帖子、消费者点评、新闻、销售人员的拜访记录，这些都是常见的非结构化数据来源。
非结构化数据分析能够揭示潜藏在文本当中的趋势和关联，为商业决策、研究行业趋势和热点内容分析提供有力支持。
山东纬横数据公司是一家以互联网搜索引擎技术为导向的大数据分析服务商，专注为用户建立数据资产，提供互联网数据监测和数据分析服务，并实现其价值。
公司主要面向医院、医疗、食品、药品、在线旅游、健康等领域提供数据分析、数据挖掘、舆情监控等技术服务。
纬横团队致力于打造最出色的中文语义分析技术，通过自主研发的中文分词、句法分析、搜素引擎和实体识别技术，结合海量行业语料的不断积累，
为企业客户（营销、公关、客服、销售和产品部门）、研究机构和政府部门等提供数据监测和采集、分析和可视化以及专业服务，增强用户在大数据时代的竞争力。
后端工程师 招聘人数：1
岗位职责
1. 分布式网页抓取平台的研发、完善和运维，每天支持数千万级的网页采集、清洗和分析；
2. 产品后端 API 的开发，实现高性能、高可用及可扩展的后端代码；
3. 线上分布式环境的自动化运维、监控、性能调优。
职位要求
1. 扎实的算法与数据结构功底，对新的知识和技术有强烈热情；
2. 具有较强的分析和解决问题的能力；
3. 拥有良好的编程习惯；
4. 熟悉至少一门高级编程语言（例如 Python/C++/JAVA ）并有实际开发的经验。
工作地点
烟台市高新区
原链接：http://litten.me/2017/07/09/prevent-spiders/
原文：http://www.cnblogs.com/schoolers/p/7712224.html