小说排行榜,完美世界txt全集下载,大主宰

perl 中文處理技巧

Perl從5.6開始已經(jīng)開始在內(nèi)部使用utf8編碼來表示字符，也就是說對(duì)中文以及其他語(yǔ)言字符的處理應(yīng)該是完全沒有問題的。我們只需要利用好Encode這個(gè)模塊便能充分發(fā)揮Perl的utf8字符的優(yōu)勢(shì)了。

下面就以中文文本的處理為例進(jìn)行說明，比如有一個(gè)字符串"測(cè)試文本"，我們想要把這個(gè)中文字符串拆成單個(gè)字符，可以這樣寫：

use Encode;
$dat="測(cè)試文本";
$str=decode("gb2312",$dat);
@chars=split //,$str;
foreach $char (@chars) {
print encode("gb2312",$char),"\n";
}

結(jié)果大家試一試就知道了，應(yīng)該是令人滿意的。

這里主要用到了Encode模塊的decode、encode函數(shù)。要了解這兩個(gè)函數(shù)的作用我們需要清楚幾個(gè)概念：

1、Perl字符串是使用utf8編碼的，它由Unicode字符組成而不是單個(gè)字節(jié)，每個(gè)utf8編碼的Unicode字符占1~4個(gè)字節(jié)（變長(zhǎng)）。

2、進(jìn)入或離開Perl處理環(huán)境（比如輸出到屏幕、讀入和保存文件等等）時(shí)不是直接使用Perl字符串，而需要把Perl字符串轉(zhuǎn)換成字節(jié)流，轉(zhuǎn)換過程中使用何種編碼方式完全取決于你（或者由Perl代勞）。一旦Perl字符串向字節(jié)流的編碼完成，字符的概念就不存在了，變成了純粹的字節(jié)組合，如何解釋這些組合則是你自己的工作。

我們可以看出如果想要Perl按照我們的字符概念來對(duì)待文本，文本數(shù)據(jù)就需要一直用Perl字符串的形式存放。但是我們平時(shí)寫出的每個(gè)字符一般都被作為純ASCII字符保存（包括在程序中明文寫出的字符串），也就是字節(jié)流的形式，這里就需要encode和decode函數(shù)的幫助了。

encode函數(shù)顧名思義是用來編碼Perl字符串的。它將Perl字符串中的字符用指定的編碼格式編碼，最終轉(zhuǎn)化為字節(jié)流的形式，因此和Perl處理環(huán)境之外的事物打交道經(jīng)常需要它。其格式很簡(jiǎn)單：
$octets = encode(ENCODING, $string [, CHECK])

$string：　　Perl字符串
encoding：　是給定的編碼方式
$octets:　　是編碼之后的字節(jié)流
check:　　　表示轉(zhuǎn)換時(shí)如何處理畸變字符（也就是Perl認(rèn)不出來的字符）。一般不需使用

編碼方式視語(yǔ)言環(huán)境的不同有很大變化，默認(rèn)可以識(shí)別utf8、ascii、ascii-ctrl、
iso-8859-1等。

decode函數(shù)則是用來解碼字節(jié)流的。它按照你給出的編碼格式解釋給定的字節(jié)流，將其轉(zhuǎn)化為使用utf8編碼的Perl字符串，一般來說從終端或者文件取得的文本數(shù)據(jù)都應(yīng)該用decode轉(zhuǎn)換為Perl字符串的形式。它的格式為：

$string = decode(ENCODING, $octets [, CHECK])
$string、ENCODING、$octets和CHECK的含義同上。

現(xiàn)在就很容易理解上面寫的那段程序了。因?yàn)樽址怯妹魑膶懗龅?，存放的時(shí)候已經(jīng)是字節(jié)流形式，喪失了本來的意義，所以首先就要用 decode函數(shù)將其轉(zhuǎn)換為Perl字符串，由于漢字一般都用gb2312格式編碼，這里decode也要使用gb2312編碼格式。轉(zhuǎn)換完成后Perl 對(duì)待字符的行為就和我們一樣了，平時(shí)對(duì)字符串進(jìn)行操作的函數(shù)基本上都能正確對(duì)字符進(jìn)行處理，除了那些本來就把字符串當(dāng)成一堆字節(jié)的函數(shù)（如vec、 pack、unpack等）。于是split就能把字符串切成單個(gè)字符了。最后由于在輸出的時(shí)候不能直接使用utf8編碼的字符串，還需要將切割后的字符用encode函數(shù)編碼為gb2312格式的字節(jié)流，再用print輸出。

標(biāo)簽：淄博松原宜春河北鄂州自貢六安石嘴山

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《perl 中文處理技巧》，本文關(guān)鍵詞 perl,中文處理,技巧,perl,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。

濮阳杆衣贸易有限公司

perl 中文處理技巧