使用Chrome or Firefox 进行网页抓取，不足之处，程序运行过程中需要一直开着浏览器。
方法一：目前，最新的Chrome支持无界面模式。
方法二：安装无界面浏览器PhantomJS，此时抓取过程在后台运行，不会有窗口出现。
selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击，下拉等。对于一些javascript渲染的页面来说，这种抓取方式非常有效。
原文：https://www.cnblogs.com/Blue-Moniter4/p/9508978.html