使用HtmlAgilityPack实现简单的博客园主页内容抓取（2014-03-31）

时间：2014-04-02 12:07:44 阅读：539 评论：0 收藏：0 [点我收藏+]

一、时间：

　　2014-03-31 18:08:32，又到了下班的时间了，忙了一天，也累了，中午都没吃饭。。。。。

二、事件：

　　win8刚出来那会，有个想法，想做一个第三方的博客园软件应用，奈何技术太渣，琐事良多，只能不了了之，最近想自己做个网站，于是就想抓取园子里面的内容，因为每天看博客都会让我成长，学到很多！

三、实现方法：

　　本来想自己存取网页，利用正则解析页面，奈何到解析标题时各种问题，而且自己想想也知道效率不是很高，于是就有了使用HtmlAgilityPack（下载地址：http://htmlagilitypack.codeplex.com/，开源的dll，很不错！）来实现网页解析，也可以用微软自己的mshtml，相对而言HtmlAgilityPack更好，于是就用了！

四、代码简单实现：

 1 using System;
 2 using System.Collections;
 3 using System.IO;
 4 using System.Net;
 5 using System.Text;
 6 using System.Text.RegularExpressions;
 7 using HtmlAgilityPack;
 8 namespace 测试
 9 {
10     class Program
11     {
12         static void Main(string[] args)
13         {
14             ////指定请求
15             //HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://www.cnblogs.com/#p2");
16 
17             ////得到返回
18             //HttpWebResponse response = (HttpWebResponse)request.GetResponse();
19 
20             ////得到流
21             //Stream recStream = response.GetResponseStream();
22 
23             ////编码方式
24             //Encoding gb2312 = Encoding.UTF8;
25 
26             ////指定转换为gb2312编码
27             //StreamReader sr = new StreamReader(recStream, gb2312);
28 
29             ////以字符串方式得到网页内容
30             //String content = sr.ReadToEnd();
31 
32             WebClient wc = new WebClient();
33             wc.BaseAddress = "http://www.cnblogs.com/sitehome/p/2";
34             wc.Encoding = Encoding.UTF8;
35             HtmlDocument doc = new HtmlDocument();
36             string html = wc.DownloadString("http://www.cnblogs.com/sitehome/p/2");
37             doc.LoadHtml(html);
38             string listNode = "/html/body/div[1]/div[4]/div[6]";
39             string[] title = new string[20];
40             string[] digest = new string[20];
41             string[] time = new string[20];
42             string[] uriList = new string[20];
43             string str;
44             HtmlNode node;
45             for(int i=0;i<20;i++)
46             {
47                 str = listNode + "/div[" + (i+1) + "]/div[2]/h3[1]";
48                 node = doc.DocumentNode.SelectSingleNode(str);
49                 title[i]=node.InnerText;
50                 str = listNode + "/div[" + (i+1) + "]/div[2]/p[1]";
51                 node = doc.DocumentNode.SelectSingleNode(str);
52                 digest[i] = node.InnerText;
53                 str = listNode + "/div[" + (i+1) + "]/div[2]/div[1]";
54                 node = doc.DocumentNode.SelectSingleNode(str);
55                 Regex r = new Regex("\\s20\\d\\d-\\d\\d-\\d\\d\\s\\d\\d:\\d\\d");
56                 Match m = r.Match(node.InnerText);
57                 time[i] = m.ToString();
58 
59                 str = listNode + "/div[" + (i + 1) + "]/div[2]/h3[1]/a[1]";
60                 node = doc.DocumentNode.SelectSingleNode(str);
61                 uriList[i] = node.Attributes["href"].Value;
62             }
63             foreach(string str2 in title)
64             {
65                 Console.WriteLine(str2);
66             }
67             foreach (string str2 in uriList)
68             {
69                 Console.WriteLine(str2);
70             }
71             foreach (string str2 in time)
72             {
73                 Console.WriteLine(str2);
74             }
75             Console.ReadKey();         
76         }