編碼名稱 | 說明 |
ASCII | 7位,與ascii7相同 |
ISO8859-1 | 8-位,與 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同 |
GB2312-80 | 16位,與gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同 |
GBK | 與MS936相同,注意:區(qū)分大小寫 |
UTF8 | 與UTF-8相同 |
GB18030 | 與cp1392、1392相同,目前支持的JDK很少 |
在實際編程時,接觸得比較多的是GB2312(GBK)和ISO8859-1。
為什么會有“?”號
上文說過,異種語言之間的轉(zhuǎn)換是通過Unicode來完成的。假設(shè)有兩種不同的語言A和B,轉(zhuǎn)換的步驟為:先把A轉(zhuǎn)化為Unicode,再把Unicode轉(zhuǎn)化為B。
舉例說明。有GB2312中有一個漢字“李”,其編碼為“C0EE”,欲轉(zhuǎn)化為ISO8859-1編碼。步驟為:先把“李”字轉(zhuǎn)化為Unicode,得到“674E”,再把“674E”轉(zhuǎn)化為ISO8859-1字符。當(dāng)然,這個映射不會成功,因為ISO8859-1中根本就沒有與“674E”對應(yīng)的字符。
當(dāng)映射不成功時,問題就發(fā)生了!當(dāng)從某語言向Unicode轉(zhuǎn)化時,如果在某語言中沒有該字符,得到的將是Unicode的代碼“\uffffd”(“\u”表示是Unicode編碼,)。而從Unicode向某語言轉(zhuǎn)化時,如果某語言沒有對應(yīng)的字符,則得到的是“0x3f”(“?”)。這就是“?”的由來。
例如:把字符流buf =“0x80 0x40 0xb0 0xa1”進(jìn)行new String(buf, "gb2312")操作,得到的結(jié)果是“\ufffd\u554a”,再println出來,得到的結(jié)果將是“?啊”,因為“0x80 0x40”是GBK中的字符,在GB2312中沒有。
再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"進(jìn)行new String (buf.getBytes("GBK"))操作,得到的結(jié)果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中沒有對應(yīng)的字符,得到“3f”,“\u00ec”對應(yīng)著“a8ac”,“\u00e9”對應(yīng)著“a8a6”,“0046”對應(yīng)著“46”(因為這是ASCII字符),“\u00bb”沒找到,得到“3f”,最后,“\u00f9”對應(yīng)著“a8b4”。把這個字符串println一下,得到的結(jié)果是“?ìéF?ù”。看到?jīng)]?這里并不全是問號,因為GBK與Unicode映射的內(nèi)容中除了漢字外還有字符,本例就是最好的明證。
所以,在漢字轉(zhuǎn)碼時,如果發(fā)生錯亂,得到的不一定都是問號噢!不過,錯了終究是錯了,50步和100步并沒有質(zhì)的差別。
或者會問:如果源字符集中有,而Unicode中沒有,結(jié)果會如何?回答是不知道。因為我手頭沒有能做這個測試的源字符集。但有一點是肯定的,那就是源字符集不夠規(guī)范。在Java中,如果發(fā)生這種情況,是會拋出異常的。
什么是UTF
UTF,是Unicode Text Format的縮寫,意為Unicode文本格式。對于UTF,是這樣定義的:
(1)如果Unicode的16位字符的頭9位是0,則用一個字節(jié)表示,這個字節(jié)的首位是“0”,剩下的7位與原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(與源Unicode字符是相同的);
?。?)如果Unicode的16位字符的頭5位是0,則用2個字節(jié)表示,首字節(jié)是“110”開頭,后面的5位與源字符中除去頭5個零后的最高5位相同;第二個字節(jié)以“10”開頭,后面的6位與源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),轉(zhuǎn)化后為“c99d”(1100 1001 1001 1101);
?。?)如果不符合上述兩個規(guī)則,則用三個字節(jié)表示。第一個字節(jié)以“1110”開頭,后四位為源字符的高四位;第二個字節(jié)以“10”開頭,后六位為源字符中間的六位;第三個字節(jié)以“10”開頭,后六位為源字符的低六位;如“\u9da7”(1001 1101 1010 0111),轉(zhuǎn)化為“e9b6a7”(1110 1001 1011 0110 1010 0111);
可以這么描述JAVA程序中Unicode與UTF的關(guān)系,雖然不絕對:字符串在內(nèi)存中運行時,表現(xiàn)為Unicode代碼,而當(dāng)要保存到文件或其它介質(zhì)中去時,用的是UTF。這個轉(zhuǎn)化過程是由writeUTF和readUTF來完成的。
好了,基礎(chǔ)性的論述差不多了,下面進(jìn)入正題。
先把這個問題想成是一個黑匣子。先看黑匣子的一級表示:
input(charsetA)->process(Unicode)->output(charsetB)
簡單,這就是一個IPO模型,即輸入、處理和輸出。同樣的內(nèi)容要經(jīng)過“從charsetA到unicode再到charsetB”的轉(zhuǎn)化。
再看二級表示:
SourceFile(jsp,java)->class->output
在這個圖中,可以看出,輸入的是jsp和java源文件,在處理過程中,以Class文件為載體,然后輸出。再細(xì)化到三級表示:
jsp->temp file->class->browser,os console,db
app,servlet->class->browser,os console,db
這個圖就更明白了。Jsp文件先生成中間的Java文件,再生成Class。而Servlet和普通App則直接編譯生成Class。然后,從Class再輸出到瀏覽器、控制臺或數(shù)據(jù)庫等。
JSP:從源文件到Class的過程
Jsp的源文件是以“.jsp”結(jié)尾的文本文件。在本節(jié)中,將闡述JSP文件的解釋和編譯過程,并跟蹤其中的中文變化。
1、JSP/Servlet引擎提供的JSP轉(zhuǎn)換工具(jspc)搜索JSP文件中用%@ page contentType ="text/html; charset=Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定Jsp-charset>,則取JVM中的默認(rèn)設(shè)置file.encoding,一般情況下,這個值是ISO8859-1;
2、jspc用相當(dāng)于“javac –encoding Jsp-charset>”的命令解釋JSP文件中出現(xiàn)的所有字符,包括中文字符和ASCII字符,然后把這些字符轉(zhuǎn)換成Unicode字符,再轉(zhuǎn)化成UTF格式,存為JAVA文件。ASCII碼字符轉(zhuǎn)化為Unicode字符時只是簡單地在前面加“00”,如“A”,轉(zhuǎn)化為“\u0041”(不需要理由,Unicode的碼表就是這么編的)。然后,經(jīng)過到UTF的轉(zhuǎn)換,又變回“41”了!這也就是可以使用普通文本編輯器查看由JSP生成的JAVA文件的原因;
3、引擎用相當(dāng)于“javac –encoding UNICODE”的命令,把JAVA文件編譯成CLASS文件;
先看一下這些過程中中文字符的轉(zhuǎn)換情況。有如下源代碼:
%@ page contentType="text/html; charset=gb2312"%>
html>body>
%
String a="中文";
out.println(a);
%>
/body>/html>
這段代碼是在UltraEdit for Windows上編寫的。保存后,“中文”兩個字的16進(jìn)制編碼為“D6 D0 CE C4”(GB2312編碼)。經(jīng)查表,“中文”兩字的Unicode編碼為“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打開引擎生成的由JSP文件轉(zhuǎn)變而成的JAVA文件,發(fā)現(xiàn)其中的“中文”兩個字確實被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件編譯生成的CLASS文件,發(fā)現(xiàn)結(jié)果與JAVA文件中的完全一樣。
再看JSP中指定的CharSet為ISO-8859-1的情況。
%@ page contentType="text/html; charset=ISO-8859-1"%>
html>body>
%
String a="中文";
out.println(a);
%>
/body>/html>
同樣,該文件是用UltraEdit編寫的,“中文”這兩個字也是存為GB2312編碼“D6 D0 CE C4”。先模擬一下生成的JAVA文件和CLASS文件的過程:jspc用ISO-8859-1來解釋“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁語系,其映射規(guī)則就是在每個字節(jié)前加“00”,所以,映射后的Unicode編碼應(yīng)為“\u00D6\u00D0\u00CE\u00C4”,轉(zhuǎn)化成UTF后應(yīng)該是“C3 96 C3 90 C3 8E C3 84”。好,打開文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示為“C3 96 C3 90 C3 8E C3 84”。
如果上述代碼中不指定Jsp-charset>,即把第一行寫成“%@ page contentType="text/html" %>”,JSPC會使用file.encoding的設(shè)置來解釋JSP文件。在RedHat 6.2上,其處理結(jié)果與指定為ISO-8859-1是完全相同的。
到現(xiàn)在為止,已經(jīng)解釋了從JSP文件到CLASS文件的轉(zhuǎn)變過程中中文字符的映射過程。一句話:從“JspCharSet到Unicode再到UTF”。下表總結(jié)了這個過程:
表2 “中文”從JSP到CLASS的轉(zhuǎn)化過程
Jsp-CharSet | JSP文件中 | JAVA文件中 | CLASS文件中 |
GB2312 | D6 D0 CE C4(GB2312) | 從\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF) | E4 B8 AD E6 96 87 (UTF) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) | 從\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF) | C3 96 C3 90 C3 8E C3 84 (UTF) |
無(默認(rèn)=file.encoding) | 同ISO-8859-1 | 同ISO-8859-1 | 同ISO-8859-1 |
Servlet:從源文件到Class的過程
Servlet源文件是以“.java”結(jié)尾的文本文件。本節(jié)將討論Servlet的編譯過程并跟蹤其中的中文變化。
用“javac”編譯Servlet源文件。javac可以帶“-encoding Compile-charset>”參數(shù),意思是“用 Compile-charset >中指定的編碼來解釋Serlvet源文件”。
源文件在編譯時,用Compile-charset>來解釋所有字符,包括中文字符和ASCII字符。然后把字符常量轉(zhuǎn)變成Unicode字符,最后,把Unicode轉(zhuǎn)變成UTF。
在Servlet中,還有一個地方設(shè)置輸出流的CharSet。通常在輸出結(jié)果前,調(diào)用HttpServletResponse的setContentType方法來達(dá)到與在JSP中設(shè)置Jsp-charset>一樣的效果,稱之為Servlet-charset>。
注意,文中一共提到了三個變量:Jsp-charset>、Compile-charset>和Servlet-charset>。其中,JSP文件只與Jsp-charset>有關(guān),而Compile-charset>和Servlet-charset>只與Servlet有關(guān)。
看下例:
import javax.servlet.*;
import javax.servlet.http.*;
class testServlet extends HttpServlet
{
public void doGet(HttpServletRequest req,HttpServletResponse resp)
throws ServletException,java.io.IOException
{
resp.setContentType("text/html; charset=GB2312");
java.io.PrintWriter out=resp.getWriter();
out.println("html>");
out.println("#中文#");
out.println("/html>");
}
}
該文件也是用UltraEdit for Windows編寫的,其中的“中文”兩個字保存為“D6 D0 CE C4”(GB2312編碼)。
開始編譯。下表是Compile-charset>不同時,CLASS文件中“中文”兩字的十六進(jìn)制碼。在編譯過程中,Servlet-charset>不起任何作用。Servlet-charset>只對CLASS文件的輸出產(chǎn)生影響,實際上是Servlet-charset>和Compile-charset>一起,達(dá)到與JSP文件中的Jsp-charset>相同的效果,因為Jsp-charset>對編譯和CLASS文件的輸出都會產(chǎn)生影響。
表3 “中文”從Servlet源文件到Class的轉(zhuǎn)變過程
Compile-charset | Servlet源文件中 | Class文件中 | 等效的Unicode碼 |
GB2312 | D6 D0 CE C4 (GB2312) | E4 B8 AD E6 96 87 (UTF) | \u4E2D\u6587 (在Unicode中=“中文”) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) | C3 96 C3 90 C3 8E C3 84 (UTF) | \u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一個00) |
無(默認(rèn)) | D6 D0 CE C4 (GB2312) | 同ISO-8859-1 | 同ISO-8859-1 |
序號 | 步驟說明 | 結(jié)果 |
1 | 編寫JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉(zhuǎn)化為臨時JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式寫入JAVA文件中 | E4 B8 AD E6 96 87 |
3 | 把臨時JAVA文件編譯成CLASS文件 | E4 B8 AD E6 96 87 |
4 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 4E 2D 65 87(在Unicode中4E2D=中 6587=文) |
5 | 根據(jù)Jsp-charset=GB2312把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
6 | 把字節(jié)流輸出到IE中,并設(shè)置IE的編碼為GB2312(作者按:這個信息隱藏在HTTP頭中) | D6 D0 CE C4 |
7 | IE用“簡體中文”查看結(jié)果 | “中文”(正確顯示) |
序號 | 步驟說明 | 結(jié)果 |
1 | 編寫JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉(zhuǎn)化為臨時JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式寫入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把臨時JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 (啥都不是?。。。?/TD> |
5 | 根據(jù)Jsp-charset=ISO8859-1把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
6 | 把字節(jié)流輸出到IE中,并設(shè)置IE的編碼為ISO8859-1(作者按:這個信息隱藏在HTTP頭中) | D6 D0 CE C4 |
7 | IE用“西歐字符”查看結(jié)果 | 亂碼,其實是四個ASCII字符,但由于大于128,所以顯示出來的怪模怪樣 |
8 | 改變IE的頁面編碼為“簡體中文” | “中文”(正確顯示) |
序號 | 步驟說明 | 結(jié)果 |
1 | 編寫JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉(zhuǎn)化為臨時JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式寫入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把臨時JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
5 | 根據(jù)Jsp-charset=ISO8859-1把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
6 | 把字節(jié)流輸出到IE中 | D6 D0 CE C4 |
7 | IE用發(fā)出請求時的頁面的編碼查看結(jié)果 | 視情況而定。如果是簡體中文,則能正確顯示,否則,需執(zhí)行表5中的第8步 |
序號 | 步驟說明 | 結(jié)果 |
1 | 編寫Servlet源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding GB2312把JAVA源文件編譯成CLASS文件 | E4 B8 AD E6 96 87?。║TF) |
3 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 4E 2D 65 87 (Unicode) |
4 | 根據(jù)Servlet-charset=GB2312把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 (GB2312) |
5 | 把字節(jié)流輸出到IE中并設(shè)置IE的編碼屬性為Servlet-charset=GB2312 | D6 D0 CE C4 (GB2312) |
6 | IE用“簡體中文”查看結(jié)果 | “中文”(正確顯示) |
序號 | 步驟說明 | 結(jié)果 |
1 | 編寫Servlet源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding ISO8859-1把JAVA源文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84?。║TF) |
3 | 運行時,先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
4 | 根據(jù)Servlet-charset=ISO8859-1把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
5 | 把字節(jié)流輸出到IE中并設(shè)置IE的編碼屬性為Servlet-charset=ISO8859-1 | D6 D0 CE C4 (GB2312) |
6 | IE用“西歐字符”查看結(jié)果 | 亂碼(原因同表5) |
7 | 改變IE的頁面編碼為“簡體中文” | “中文”(正確顯示) |
序號 | 步驟說明 | 結(jié)果 | 域 |
1 | 在IE中輸入“中文” | D6 D0 CE C4 | IE |
2 | IE把字符串轉(zhuǎn)變成UTF,并送入傳輸流中 | E4 B8 AD E6 96 87 | |
3 | Servlet接收到輸入流,用readUTF讀取 | 4E 2D 65 87(unicode) | Servlet |
4 | 編程者在Servlet中必須把字符串根據(jù)GB2312還原為字節(jié)流 | D6 D0 CE C4 | |
5 | 編程者根據(jù)數(shù)據(jù)庫內(nèi)碼ISO8859-1生成新的字符串 | 00 D6 00 D0 00 CE 00 C4 | |
6 | 把新生成的字符串提交給JDBC | 00 D6 00 D0 00 CE 00 C4 | |
7 | JDBC檢測到數(shù)據(jù)庫內(nèi)碼為ISO8859-1 | 00 D6 00 D0 00 CE 00 C4 | JDBC |
8 | JDBC把接收到的字符串按照ISO8859-1生成字節(jié)流 | D6 D0 CE C4 | |
9 | JDBC把字節(jié)流寫入數(shù)據(jù)庫中 | D6 D0 CE C4 | |
10 | 完成數(shù)據(jù)存儲工作 | D6 D0 CE C4 數(shù)據(jù)庫 | |
以下是從數(shù)據(jù)庫中取出數(shù)的過程 | |||
11 | JDBC從數(shù)據(jù)庫中取出字節(jié)流 | D6 D0 CE C4 | JDBC |
12 | JDBC按照數(shù)據(jù)庫的字符集ISO8859-1生成字符串,并提交給Servlet | 00 D6 00 D0 00 CE 00 C4 (Unicode) | |
13 | Servlet獲得字符串 | 00 D6 00 D0 00 CE 00 C4 (Unicode) | Servlet |
14 | 編程者必須根據(jù)數(shù)據(jù)庫的內(nèi)碼ISO8859-1還原成原始字節(jié)流 | D6 D0 CE C4 | |
15 | 編程者必須根據(jù)客戶端字符集GB2312生成新的字符串 | 4E 2D 65 87 (Unicode) | |
Servlet準(zhǔn)備把字符串輸出到客戶端 | |||
16 | Servlet根據(jù)<Servlet-charset>生成字節(jié)流 | D6D0 CE C4 | Servlet |
17 | Servlet把字節(jié)流輸出到IE中,如果已指定<Servlet-charset>,還會設(shè)置IE的編碼為<Servlet-charset> | D6 D0 CE C4 | |
18 | IE根據(jù)指定的編碼或默認(rèn)編碼查看結(jié)果 | “中文”(正確顯示) | IE |
標(biāo)簽:大興安嶺 馬鞍山 鄭州 岳陽 亳州 紅河 拉薩 武威
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《深入剖析JSP和Servlet對中文的處理》,本文關(guān)鍵詞 深入,剖析,JSP,和,Servlet,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。