一直以来使用php解析html文档树都是一个难题。Simple HTML DOM parser 很好地解决了这个问题。可以通过这个php类来解析html文档，对其中的html元素进行操作 (PHP5+以上版本)。
解析器不仅仅只是帮助我们验证html文档；更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器，通过元素的id，class，tag等等来查找定位；同时还提供添加、删除、修改文档树的功能。和jq一样的操作还是很方便的。
有三种方式调用这个类：
从url中加载html文档
从字符串中加载html文档
从文件中加载html文档
01 |
<?php |
02 |
//
新建一个Dom实例 |
03 |
$html = new simple_html_dom(); |
04 |
05 |
//
从url中加载 |
06 |
$html->load_file(‘http://www.xxx.com‘); |
07 |
08 |
//
从字符串中加载 |
09 |
$html->load(‘<html><body>从字符串中加载html文档演示</body></html>‘); |
10 |
11 |
//从文件中加载 |
12 |
$html->load_file(‘path/file/test.html‘); |
13 |
?> |
查找html元素
可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象，下面给出几个示例
01 |
<?php |
02 |
03 |
//查找html文档中的超链接元素 |
04 |
$a = $html->find(‘a‘); |
05 |
06 |
//查找文档中第(N)个超链接，如果没有找到则返回空数组. |
07 |
$a = $html->find(‘a‘,
0); |
08 |
09 |
//
查找id为main的div元素 |
10 |
$main = $html->find(‘div[id=main]‘,0); |
11 |
12 |
//
查找所有包含有id属性的div元素 |
13 |
$divs = $html->find(‘div[id]‘); |
14 |
15 |
//
查找所有包含有id属性的元素 |
16 |
$divs = $html->find(‘[id]‘); |
17 |
?> |
01 |
<?php |
02 |
//
查找id=‘#container‘的元素 |
03 |
$ret = $html->find(‘#container‘); |
04 |
05 |
//
找到所有class=foo的元素 |
06 |
$ret = $html->find(‘.foo‘); |
07 |
08 |
//
查找多个html标签 |
09 |
$ret = $html->find(‘a,
img‘); |
10 |
11 |
//
还可以这样用 |
12 |
$ret = $html->find(‘a[title],
img[title]‘); |
13 |
?> |
01 |
<?php |
02 |
//
返回父元素 |
03 |
$e->parent; |
04 |
05 |
//
返回子元素数组 |
06 |
$e->children; |
07 |
08 |
//
通过索引号返回指定子元素 |
09 |
$e->children(0); |
10 |
11 |
//
返回第一个资源速 |
12 |
$e->first_child
(); |
13 |
14 |
//
返回最后一个子元素 |
15 |
$e->last
_child (); |
16 |
17 |
//
返回上一个相邻元素 |
18 |
$e->prev_sibling
(); |
19 |
20 |
//返回下一个相邻元素 |
21 |
$e->next_sibling
(); |
22 |
?> |
元素属性操作
使用简单的正则表达式来操作属性选择器。
[attribute] – 选择包含某属性的html元素
[attribute=value] – 选择所有指定值属性的html元素
[attribute!=value]- 选择所有非指定值属性的html元素
[attribute^=value] -选择所有指定值开头属性的html元素
[attribute$=value] 选择所有指定值结尾属性的html元素
[attribute*=value] -选择所有包含指定值属性的html元素
如何避免解析器消耗过多内存
有时候可能Simple HTML DOM解析器消耗内存过多。如果php脚本占用内存太多，会导致网站停止响应等一系列严重的问题。解决的方法也很简单，在解析器加载html文档并使用完成后，记得清理掉这个对象就可以了。
1 |
<?php |
2 |
$html->clear(); |
3 |
?> |
下面看看微博热词抓取的源码示例
01 |
<?php |
02 |
03 |
header(‘Content-Type:text/html;charset=gbk‘); |
04 |
include "simple_html_dom.php"; |
05 |
06 |
class Tmemcache
{ |
07 |
08 |
protected $memcache; |
09 |
10 |
function __construct($cluster)
{ |
11 |
$this->memcache
= new Memcache; |
12 |
foreach ($cluster[‘memcached‘] as $server)
{ |
13 |
$this->memcache->addServer($server[‘host‘], $server[‘port‘]); |
14 |
} |
15 |
} |
16 |
17 |
function fetch($cache_key)
{ |
18 |
return $this->memcache->get($cache_key); |
19 |
} |
20 |
21 |
function store($cache_key, $val, $expire =
7200) { |
22 |
$this->memcache->set($cache_key, $val,
MEMCACHE_COMPRESSED, $expire); |
23 |
} |
24 |
25 |
function flush()
{ |
26 |
$this->memcache->flush(); |
27 |
} |
28 |
29 |
function delete($cache_key, $timeout =
0) { |
30 |
$this->memcache->delete($cache_key, $timeout); |
31 |
} |
32 |
33 |
} |
34 |
35 |
function unicode_hex_2_gbk($name)
{ |
36 |
$a =
json_decode(‘{"a":"‘ . $name . ‘"}‘); |
37 |
if (isset($a)
&& is_object($a))
{ |
38 |
return iconv(‘UTF-8‘, ‘GBK//IGNORE‘, $a->a); |
39 |
return $a->a; |
40 |
} |
41 |
return null; |
42 |
} |
43 |
44 |
function curl_fetch($url, $time =
3) { |
45 |
$ch =
curl_init(); |
46 |
curl_setopt($ch,
CURLOPT_URL, $url); |
47 |
curl_setopt($ch,
CURLOPT_TIMEOUT, $time); |
48 |
curl_setopt($ch,
CURLOPT_RETURNTRANSFER, 1); |
49 |
50 |
$data =
curl_exec($ch); |
51 |
$errno =
curl_errno($ch); |
52 |
53 |
if ($errno >
0) { |
54 |
$err = "[CURL]
url:{$url} ; errno:{$errno} ; info:" .
curl_error($ch)
. ";"; |
55 |
echo $err; |
56 |
$data =
false; |
57 |
} |
58 |
59 |
curl_close($ch); |
60 |
return $data; |
61 |
} |
62 |
63 |
$cluster["memcached"]
= array( |
64 |
array("host" => "10.11.1.1", "port" =>
11211), |
65 |
); |
66 |
//$memcache
= new Tmemcache($cluster); |
67 |
$url = "http://s.weibo.com/top/summary?cate=total&key=event"; |
68 |
$cache_key =
md5("weibo" . $url); |
69 |
//$str
= $memcache->fetch($cache_key); |
70 |
//if
(!isset($_GET["nocache"]) && !empty($str)) { |
71 |
//
echo $str; |
72 |
//
exit; |
73 |
//} |
74 |
75 |
$content =
curl_fetch($url); |
76 |
if ($content ===
false) |
77 |
exit; |
78 |
79 |
$html =
str_get_html($content); |
80 |
$a = $html->find(‘script‘,
8); |
81 |
//测试 |
82 |
$a = str_replace(array(‘\\"‘, ‘\\/‘,
"\\n",
"\\t"),
array(‘"‘, ‘/‘, "", ""), $a); |
83 |
$pos = strpos($a, ‘<div
class="hot_ranklist">‘); |
84 |
$a = substr($a, $pos); |
85 |
//////// |
86 |
//echo
"<xmp>"; |
87 |
//echo
($a); |
88 |
//echo
"</xmp>"; |
89 |
$html =
str_get_html($a); |
90 |
$arr = array(); |
91 |
foreach ($html->find(‘table[id=event]‘,
0)->find(‘.rank_content‘) as $element)
{ |
92 |
$arr[]
= unicode_hex_2_gbk($element->find("a",
0)->plaintext); |
93 |
} |
94 |
$html->clear(); |
95 |
$str =
implode(",", $arr); |
96 |
//if
(!isset($_GET["nocache"])) |
97 |
//
$memcache->store($cache_key, $str, 3600); |
98 |
echo $str; |