有声小说下载,穿越小说排行榜,性爱有声小说在线收听

主頁 > 知識庫 > asp.net c# 抓取頁面信息方法介紹

asp.net c# 抓取頁面信息方法介紹

一：網(wǎng)頁更新
我們知道，一般網(wǎng)頁中的信息是不斷翻新的，這也要求我們定期的去抓這些新信息，但是這個(gè)“定期”該怎么理解，也就是多長時(shí)間需要抓一次該頁面，其實(shí)這個(gè)定期也就是頁面緩存時(shí)間，在頁面的緩存時(shí)間內(nèi)我們再次抓取該網(wǎng)頁是沒有必要的，反而給人家服務(wù)器造成壓力。
就比如說我要抓取博客園首頁，首先清空頁面緩存，

從Last-Modified到Expires，我們可以看到，博客園的緩存時(shí)間是2分鐘，而且我還能看到當(dāng)前的服務(wù)器時(shí)間Date，如果我再次

刷新頁面的話，這里的Date將會(huì)變成下圖中 If-Modified-Since,然后發(fā)送給服務(wù)器，判斷瀏覽器的緩存有沒有過期？

最后服務(wù)器發(fā)現(xiàn)If-Modified-Since >= Last-Modifined的時(shí)間，服務(wù)器也就返回304了，不過發(fā)現(xiàn)這cookie信息真是賊多啊。

在實(shí)際開發(fā)中，如果在知道網(wǎng)站緩存策略的情況下，我們可以讓爬蟲2min爬一次就好了，當(dāng)然這些都是可以由數(shù)據(jù)團(tuán)隊(duì)來配置維護(hù)了，好了，下面我們用爬蟲模擬一下。

復(fù)制代碼代碼如下:

using System; 
using System.Net; 

namespace ConsoleApplication2 
{ 
public class Program 
{ 
static void Main(string[] args) 
{ 
DateTime prevDateTime = DateTime.MinValue; 

for (int i = 0; i  10; i++) 
{ 
try 
{ 
var url = "http://cnblogs.com"; 

var request = (HttpWebRequest)HttpWebRequest.Create(url); 

request.Method = "Head"; 

if (i > 0) 
{ 
request.IfModifiedSince = prevDateTime; 
} 

request.Timeout = 3000; 

var response = (HttpWebResponse)request.GetResponse(); 

var code = response.StatusCode; 

//如果服務(wù)器返回狀態(tài)是200，則認(rèn)為網(wǎng)頁已更新，記得當(dāng)時(shí)的服務(wù)器時(shí)間 
if (code == HttpStatusCode.OK) 
{ 
prevDateTime = Convert.ToDateTime(response.Headers[HttpResponseHeader.Date]); 
} 

Console.WriteLine("當(dāng)前服務(wù)器的狀態(tài)碼:{0}", code); 
} 
catch (WebException ex) 
{ 
if (ex.Response != null) 
{ 
var code = (ex.Response as HttpWebResponse).StatusCode; 

Console.WriteLine("當(dāng)前服務(wù)器的狀態(tài)碼:{0}", code); 
} 
} 
} 
} 
} 
}

二：網(wǎng)頁編碼的問題

有時(shí)候我們已經(jīng)抓取到網(wǎng)頁了，準(zhǔn)備去解析的時(shí)候，tmd的全部是亂碼，真是操蛋，比如下面這樣，

或許我們依稀的記得在html的meta中有一個(gè)叫做charset的屬性，里面記錄的就是編碼方式，還有一個(gè)要點(diǎn)就是response.CharacterSet這個(gè)屬性中同樣也記錄了編碼方式，下面我們再來試試看。

居然還是亂碼，蛋疼了，這次需要到官網(wǎng)上面去看一看，到底http頭信息里面都交互了些什么，憑什么瀏覽器能正常顯示，爬蟲爬過來的就不行。

查看了http頭信息，終于我們知道了，瀏覽器說我可以解析gzip,deflate,sdch這三種壓縮方式，服務(wù)器發(fā)送的是gzip壓縮，到這里我們也應(yīng)該知道了常用的web性能優(yōu)化。

復(fù)制代碼代碼如下:

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Threading; 
using HtmlAgilityPack; 
using System.Text.RegularExpressions; 
using System.Net; 
using System.IO; 
using System.IO.Compression; 

namespace ConsoleApplication2 
{ 
public class Program 
{ 
static void Main(string[] args) 
{ 
//var currentUrl = "http://www.mm5mm.com/"; 

var currentUrl = "http://www.sohu.com/"; 

var request = WebRequest.Create(currentUrl) as HttpWebRequest; 

var response = request.GetResponse() as HttpWebResponse; 

var encode = string.Empty; 

if (response.CharacterSet == "ISO-8859-1") 
encode = "gb2312"; 
else 
encode = response.CharacterSet; 

Stream stream; 

if (response.ContentEncoding.ToLower() == "gzip") 
{ 
stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress); 
} 
else 
{ 
stream = response.GetResponseStream(); 
} 

var sr = new StreamReader(stream, Encoding.GetEncoding(encode)); 

var html = sr.ReadToEnd(); 
} 
} 
}

三：網(wǎng)頁解析

既然經(jīng)過千辛萬苦拿到了網(wǎng)頁，下一個(gè)就要解析了，當(dāng)然正則匹配是個(gè)好方法，畢竟工作量還是比較大的，可能業(yè)界也比較推崇 HtmlAgilityPack這個(gè)解析工具，能夠?qū)tml解析成XML，然后可以用XPath去提取指定的內(nèi)容，大大提高了開發(fā)速度，性能也不賴，畢竟Agility也就是敏捷的意思，關(guān)于XPath的內(nèi)容，大家看懂W3CSchool的這兩張圖就OK了。

復(fù)制代碼代碼如下:

using System; 
using System.Collections.Generic; 
using System.Linq; 
using System.Text; 
using System.Threading; 
using HtmlAgilityPack; 
using System.Text.RegularExpressions; 
using System.Net; 
using System.IO; 
using System.IO.Compression; 

namespace ConsoleApplication2 
{ 
public class Program 
{ 
static void Main(string[] args) 
{ 
//var currentUrl = "http://www.mm5mm.com/"; 

var currentUrl = "http://www.sohu.com/"; 

var request = WebRequest.Create(currentUrl) as HttpWebRequest; 

var response = request.GetResponse() as HttpWebResponse; 

var encode = string.Empty; 

if (response.CharacterSet == "ISO-8859-1") 
encode = "gb2312"; 
else 
encode = response.CharacterSet; 

Stream stream; 

if (response.ContentEncoding.ToLower() == "gzip") 
{ 
stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress); 
} 
else 
{ 
stream = response.GetResponseStream(); 
} 

var sr = new StreamReader(stream, Encoding.GetEncoding(encode)); 

var html = sr.ReadToEnd(); 

sr.Close(); 

HtmlDocument document = new HtmlDocument(); 

document.LoadHtml(html); 

//提取title 
var title = document.DocumentNode.SelectSingleNode("http://title").InnerText; 

//提取keywords 
var keywords = document.DocumentNode.SelectSingleNode("http://meta[@name='Keywords']").Attributes["content"].Value; 
} 
} 
}

好了，打完收工，睡覺。。。

您可能感興趣的文章:

C#多線程爬蟲抓取免費(fèi)代理IP的示例代碼
c# 抓取Web網(wǎng)頁數(shù)據(jù)分析
C# 抓取網(wǎng)頁內(nèi)容的方法
C# 實(shí)現(xiàn)抓取網(wǎng)站頁面內(nèi)容的實(shí)例方法
c# HttpWebRequest通過代理服務(wù)器抓取網(wǎng)頁內(nèi)容應(yīng)用介紹
C#實(shí)現(xiàn)通過程序自動(dòng)抓取遠(yuǎn)程Web網(wǎng)頁信息的代碼
c#根據(jù)網(wǎng)址抓取網(wǎng)頁截屏生成圖片的示例
基于C#實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲 C#抓取網(wǎng)頁Html源碼
C#實(shí)現(xiàn)抓取和分析網(wǎng)頁類實(shí)例
c#批量抓取免費(fèi)代理并且驗(yàn)證有效性的實(shí)戰(zhàn)教程

標(biāo)簽：綏化運(yùn)城呼倫貝爾潛江洛陽克拉瑪依阿里西藏

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《asp.net c# 抓取頁面信息方法介紹》，本文關(guān)鍵詞 asp.net,抓取,頁面,信息,方法,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。