这种情况原因是html界面关联的js文件可能会动态修改DOM结构，这样浏览器完成了动态修改DOM，在 浏览器上看到的DOM结构，就和后台抓到的DOM结构不通
举例：新浪微博发的微博，在浏览器通过firebug的插件FirePath可以很容易计算出xpath
通过Firefinder可以查看xpath的匹配情况
但是查看页面的源代码，可以发现，微博的内容都是包含在js里的FM.view里的，这些会被js动态生成DOM，但是抓取返回的内容都是下面这些内容，是还没有生成DOM的
爬虫：网页里元素的xpath结构，scrapy不一定就找的到
原文：http://www.cnblogs.com/shengulong/p/7850227.html