一个.NET下的HTML解析类库HtmlAgilityPack。HtmlAgilityPack是一个支持用XPath来解析HTML的类库，在花了一点时间学习了解HtmlAgilityPack的API和XPath之后，周公就做了一个简单的工具完成了这个功能，HtmlAgilityPack是一个开源的.NET类库，它的主页是http://htmlagilitypack.codeplex.com/，在这里可以下载到最新版的类库及API手册，此外还可以下载到一个用于调试的辅助工具。
XPath简明介绍 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 下面列出了最有用的路径表达式： nodename:选取此节点的所有子节点。 /:从根节点选取。 //:从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 .:选取当前节点。 ..:选取当前节点的父节点。 例如有下面一段XML:
1、获取网页title：doc.DocumentNode.SelectSingleNode("//title").InnerText;
解释：XPath中“//title”表示所有title节点。SelectSingleNode用于获取满足条件的唯一的节点。
2、获取所有的超链接：doc.DocumentNode.Descendants("a")
3、获取name为kw的input，也就是相当于getElementsByName()： var kwBox = doc.DocumentNode.SelectSingleNode("//input[@name='kw']");
解释："//input[@name='kw']"也是XPath的语法，表示：name属性等于kw的input标签。
针对上面的XML文件，我们列出了带有谓语的一些路径表达式，以及表达式的结果： /Articles/Article[1]：选取属于Articles子元素的第一个Article元素。 /Articles/Article[last()]：选取属于Articles子元素的最后一个Article元素。 /Articles/Article[last()-1]：选取属于Articles子元素的倒数第二个Article元素。 /Articles/Article[position()<3]：选取最前面的两个属于 bookstore 元素的子元素的Article元素。 //title[@lang]：选取所有拥有名为lang的属性的title元素。 //CreateAt[@type='zh-cn']：选取所有CreateAt元素，且这些元素拥有值为zh-cn的type属性。 /Articles/Article[Order>2]：选取Articles元素的所有Article元素，且其中的Order元素的值须大于2。 /Articles/Article[Order<3]/Title：选取Articles元素中的Article元素的所有Title元素，且其中的Order元素的值须小于3。 HtmlAgilityPack API简明介绍 在HtmlAgilityPack中常用到的类有HtmlDocument、HtmlNodeCollection、HtmlNode和HtmlWeb等。 其流程一般是先获取HTML，这个可以通过HtmlDocument的Load()或LoadHtml()来加载静态内容，或者也可以HtmlWeb的Get()或Load()方法来加载网络上的URL对应的HTML。 得到了HtmlDocument的实例之后，就可以用HtmlDocument的DocumentNode属性，这是整个HTML文档的根节点，它本身也是一个HtmlNode，然后就可以利用HtmlNode的SelectNodes()方法返回多个HtmlNode的集合对象HtmlNodeCollection，也可以利用HtmlNode的SelectSingleNode()方法返回单个HtmlNode。 HtmlAgilityPack实战 下面是一个解析CSDN博客的代码实例：
private void button1_Click(object sender, EventArgs e)
{
HtmlWeb hw = new HtmlWeb();
hw.OverrideEncoding = Encoding.GetEncoding("gbk"); //注意：此处需要设置页面编码格式，也可以用后文的方法自动获取编码格式
HtmlAgilityPack.HtmlDocument htmlweb = hw.Load("http://www.xzqh.org/html/sitemap.html");
HtmlNode node = htmlweb.DocumentNode.SelectSingleNode("//h3");
textBox1.Text = node.ChildNodes[0].InnerText + "\r\n" + node.ChildNodes[0].Attributes["href"].Value;
}
HtmlAgilityPack确实有中文乱码问题，需要在调用之前设置OverrideEncoding的值。
而这个值是可以自动检测出来的，自动识别网站的方法如下：
//自动获取网页编码
private static Encoding GetWebEncoding(string serverUrl)
{
WebRequest request = WebRequest.Create(serverUrl);
WebResponse response = request.GetResponse();
Stream sr = response.GetResponseStream();
byte[] buffer = new byte[1200];
sr.Read(buffer, 0, buffer.Length);
string head = Encoding.Default.GetString(buffer);
string regPatt = @"charset\s*=\s*(?
Regex regEncode = new Regex(regPatt, RegexOptions.IgnoreCase
| RegexOptions.Compiled);
string encodname = regEncode.Match(head).Result("${encode}");
return GetEncoding(encodname);
}
发表评论