打印

[asp] [asp]让你知道codepage的重要,关于多语言编码

这几天研究UTF-8编码,太晕了,把我的看法和各位讨论讨论。
欢迎来批啊。以下都是我的想法,哪里有不对的请不吝赐教,帮忙指出来。
==========================================================
相关的题外话:
一、操作系统
window系统内部都是unicode的。文件夹名,文件名等都是unicode的,任何语言系统下都能正常显示。
二、输入法:
微软拼音输出的是Unicode的,智能ABC输出是简体中文的(所以智能ABC在非简体中文系统根本不能用,只能打英文)。
三、网页的textarea
网页的textarea是用unicode显示的。所以往里打什么字都能显示。而一些flash做的输入框就不行了。
四、Access2000
access里面保存的数据是unicode的,在任何语言系统下都能显示。
如果数据视图查看有些字符不正常,那是因为显示所用的字体不是Unicode字体,
换用Arial Unicode MS 字体就能全部显示了。(access帮助,搜索,输入unicode,有说明)
五、Word
word里的繁简转换,简体转换到繁体后,内码仍是简体中文的,其实只是简体中的繁体字。
六、ASP内部是Unicode的,所有文本都是Unicode存储的。需要时转换到指定字符集。
=======================================================
首先说下结论:
<%@ codepage=936%>简体中文
<%@ codepage=950%>繁体中文
<%@ codepage=65001%>UTF-8

codepage指定了IIS按什么编码读取传递过来的串串(表单提交,地址栏传递等)。
也指定了所有文本变量从Unicode转换到的编码,
也就指定了从数据库取出的数据从Unicode转换到的编码。(注意这个,很重要。)

关键字:
读取:一个串串,按简体读取是一些字,按繁体读取是一些字,串串本身编码没有变。
转换:系统主动的转换,比如从Unicode的“化”字到Big5的“化”字,内码变成Big5的。如果Big5没有对应的字,保留Unicode形式(&#xxxx;)

简体中文:化六个结论
Unicode16进制形式:化六个结论
Unicode10进制形式:化六个结论

下面是我推测出来的编码转换的过程:
客户端:输入法Unicode--输入框unicode--从Unicode按charset转换到对应编码()--表单发送编码

服务器端:IIS解开表单编码--按codepage指定编码读取--转换到对应的Unicode--可以用request("")读取了--进行一些处理--以Unicode编码保存到数据库

服务器端:读取数据库的Unicode数据,转换到codepage指定编码---生成源代码--IE按charset读取显示。


下面举例说明:
例一:
假设有三个asp页面,典型的留言页面:
1.       write.asp 简单的输入表单,提交到add.asp。
<META http-equiv="Content-Type" content="text/html; charset=big5">
2.       add.asp 接收留言,保存到数据库
<%@ codepage=936%>
3.       read.asp 从数据库取得留言,显示。
<%@ codepage=936%> charset=GB2312 或
<%@ codepage=950%> charset=big5

大家可以猜一猜,我在write.asp里用微软拼音输入法输入“化六个讨论”。最后在read.asp里会显示什么样?
是不是晕了。让我们从头分析。



例二:
把例一的add.asp的<%@ codepage=936%>改为<%@ codepage=950%>,又会怎么样呢?



到这里发现了什么?
1.如果输入的文字和Charset对应的不同,一转换,就可能出现Unicode形式的字了。这里就是原因所在。以后整个过程都保留着。
2.Add.asp里codepage决定了保存到数据库的文字,用的是哪个语言对应的Unicode.如codepage=936,
那么数据库保存的就是简体中文的Unicode(数据库拿回简体中文系统,一切正常的),
codepage=950保存的就是繁体中文的Unicode.(拿回简体中文系统,就不对了)。
3.注意一下串串的变化过程:
--------------------------------------------------------------------
1)       输入法---Charset       Unicode----指定字符集的映射
2)       Charset----表单编码       串串简单编码
3)       表单解码       上步的逆过程,两步抵消了。
4)       串串à按codepage读取       串串没变,这步有可能“误会读取”
5)       转为对应的Unicode       Codepage指定字符集----Unicode映射
6)       中间处理,进数据库       无变化,直接以Unicode形式进入
7)              
8)       按codepage读取数据库        Unicode----codepage指定字符集的映射
9)       显示,按Charset指定字符集读取       串串没变。
-------------------------------------------------------------------------------
以例一说明:


例二:


=============================================
晕了。现在来用用知识。

案例1。
简体中文系统下跑的好好的代码,放到国外空间上,数据库里乱码,原有的数据也乱码。
分析:因为大多数人平时用的都是简体中文系统,默认的codepage=936,所以平时大家不写也没有关系。
但到了国外空间问题就出来了。从数据库里的Unicode转换到英文编码去了,所以数据库原有的简体中文转换到英文后,按GB显示自然乱码。
如图,新输入的文字显示正常,但数据库里保存的是英文的Unicode的。
解决方法:全部加上<%@codepage=936即可%>。
全程只有简体中文与对应Unicode间的转换。



案例二:
简体中文的代码和数据,想转为完全的繁体版,该怎么办?
分析:1。代码文件编码全部改为Big5的,文件本身保存编码选繁体。
2.<%@ codepage=950 %>
3.Charset=big5
4.access版本无所谓,因为access里的数据是Unicode的。
5.好了,代码可以在纯繁体系统下跑了。
6.遗留问题:原有的简体中文数据读出会有一些问号。效果同例一的950读取,big5显示。因为从简体中文的Unicode转换到繁体中文了,有些字繁体中没有,就会出问号。
7.解决:用一个临时asp页,codepage=65001,读出为简体中文的Unicode,用一个Unicode->Big5的函数,转为繁体中文,然后写回数据库,应该行了吧?
案例三:
简体中文的代码和数据库,想转为完全的UTF-8版,怎么办?
分析:1。代码文件编码全部改为UTF-8的,文件本身保存编码选UTF8。
2.<%@ codepage=65001 %>
3.Charset=UTF-8
4.access版本无所谓,因为access里的数据是Unicode的。
5.OK,没有任何遗留问题。原有的简体中文也会正常显示。因为数据库里是Unicode的,按Unicode读出没有任何转换。自然不会乱码。看来转到UTF-8还是很简单的。
=============================================
案例完全是我按照理论推导出来了,未经证实。
有类似经历的欢迎批评指正。
本帖最近评分记录
  • SinNeR 威望 +6 小雨辛苦了。:D本来想加精,但是至今还 ... 2008-2-17 08:51
  • 经典论坛大妈 威望 +4 历史打分 2004-11-20 17:37
好帖,又长见识了
好文! 我对编码也是糊糊涂涂的
支持小雨
UTF-8是趋势,我也准备改用UTF-8来做页子
PS:
我想起
response.charset="gb2312"

<META http-equiv="Content-Type" content="text/html; charset=gb2312">
页面显示的,这两个似乎是不一样的

一个respons.redirect("aaa.asp")的页面
如果aaa.asp有 response.charset="gb2312"
ie就可以正确识别 gb2312 页面汉字也不会乱码
但没有 respons.redirect("aaa.asp") 即使 aaa.asp页面有
<META http-equiv="Content-Type" content="text/html; charset=gb2312">
也会将头替换成西文字符,另存为页面上的 gb2312就没有了

response.charset :
Charset Appends the name of the character set to the content-type header.

但实际对页面的控制与 <meta 直接设置的有区别

什么原因也不知道 以前做的asp页 使用redirect 跳转 的asp页必须加 response.charset="gb2312"
否则是不会认<meta 的 gb2312的

而 meta refresh 和 js的 location.href 设置的则正常
redirect()就会丢弃<meta 的charset
..
所以 保证ie 自动准确显示页面
response.charset= charset
也是必须的

非一所思~~
PaintBlue.NET
不错,我也把我之前遇到的一起发上来/

1,普通HTML页面,并声明此HTML文件是采用gb2312字符集

保存为文件名:utf1.html,编码采用ANSI


<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=gb2312">
<meta name="author" content="CN-Bruce http://www.cnbruce.com">
<title>utf-8</title>
</head>
<body>
调试utf-8代码
</body>
</html>


IE中浏览,字符显示正常。若选择浏览器菜单“查看”——“编码”——“除简体中文以外”,页面出现乱码。

2,依然是普通HTML页面,并声明此HTML文件是采用gb2312字符集

保存为文件名:utf2.html,但编码采用UTF-8


<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=gb2312">
<meta name="author" content="CN-Bruce http://www.cnbruce.com">
<title>utf-8</title>
</head>
<body>
调试utf-8代码
</body>
</html>


IE中浏览,字符显示正常。再选择浏览器菜单“查看”——“编码”——“始终显示Unicode(UTF-8)”,页面不出现任何乱码。

3,同样是普通HTML页面,但声明此HTML文件是采用UTF-8字符集

保存为文件名:utf3.html,但编码采用ANSI


<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<meta name="author" content="CN-Bruce http://www.cnbruce.com">
<title>utf-8</title>
</head>
<body>
调试utf-8代码
</body>
</html>


IE中浏览,字符显示直接是乱码。再选择浏览器菜单“查看”——“编码”——“简体中文”,页面方才正常。

4,继续是普通HTML页面,声明此HTML文件是采用UTF-8字符集

保存为文件名:utf4.html,并且编码还是采用UTF-8


<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<meta name="author" content="CN-Bruce http://www.cnbruce.com">
<title>utf-8</title>
</head>
<body>
调试utf-8代码
</body>
</html>


IE中浏览,字符显示正常。再选择浏览器菜单“查看”——“编码”——“始终显示Unicode(UTF-8)”,页面不出现任何乱码。

那么现在,个人总结得出:从utf2.html和utf4.html比较得,页面显示的和文件所采用的字符集并无直接关系,其只是一个声明作用。真正的主体还是该文件保存时的编码格式:ANSI Or UTF-8

以下是一篇文章参考:  http://www.linuxforum.net/books/UTF-8-Unicode.html

p.s.归档精华时不小心转移了下

TOP

好帖 在wap中经常出现这种现象, 强

TOP

cnbruce的结论非常好!
欢迎光临我的2004年个人网站 w3cs.com
W3CS - Record the development history of internet with snapshots

TOP

文件保存编码和codepage之间的关系

结论:
codepage指定了IIS按什么编码读取源文件。如果codepage和源文件的实际编码相同,则读取正确,否则就会乱码。有时还会报编译错误,大概意思是无效字符吧。

题外话:
1.一个文件保存格式为GB2312,那么你在编辑的时候,不论是用输入法输入的,还是copy粘贴的,所有的字都会转为GB2312编码。
2.象Mid,Left,Chr,Instr等函数都是面向Unicode形式变量的,他们的入口和出口参数都是unicode形式的,也就是说,进入时从Unicode转为对应编码,出来时转回Unicode。

试验过程:
假设文件a.asp,保存编码格式为GB2312,输入:帳票マッ(日文输入法输入),自动变为GB2312编码的,但因为GB2312字库中有日文,所以显示正常。
上面四个字如果按日文Shift-JIS编码查看,则是: (图片,否则后面三个是空白)。

--A--
.asp中有代码:
---------------------
<%@codepage=936%>
aa="帳票マッ"
response.write aa
-------------------------
输出结果,按charset=GB2312查看为:帳票マッ
按charset=Shift-JIS查看为:
如果codepage=932,输出按charset=GB2312查看为:帳票マッ
按charset=Shift-JIS查看为:

过程分析:IIS编译器按936简体中文读取源文件,把“帳票マッ”转为对应的Unicode编码,赋值给变量aa,也就是说LenB(aa)=8。
Response.write输出的时候,从Unicode形式转换到对应的936简体中文编码,输出为html,发送给浏览器,浏览器按charset显示。

--B--
如果把文件的保存编码换为Shift-JIS,注意四个文字要重新输入。保存的是Shift-JIS编码。
<% @codepage=936 %>输出结果,
按charset=GB2312查看为:挔昜儅僢
按shift-jis查看为:帳票マッ
<% @codepage=932 %>输出结果,
按charset=GB2312查看为:挔昜儅僢
按shift-jis查看为:帳票マッ

总结:
GB—按GB读取—对应的Unicode—转回GB—按GB2312查看,正常。
GB—按GB读取—对应的Unicode—转回GB—按Shift-JIS查看,不正常。
GB—按Shift-JIS读取—对应的Unicode—转回Shift-JIS—按GB2312查看,正常。
GB—按Shift-JIS读取—对应的Unicode—转回Shift-JIS—按Shift-JIS查看,不正常。

Shift-JIS---按GB读取—对应的Unicode---转回GB—按GB2312查看,不正常。
Shift-JIS---按GB读取—对应的Unicode---转回GB—按Shift-JIS查看,正常。
Shift-JIS---按Shift-JIS读取—对应的Unicode---转回Shift-JIS—按GB2312查看,不正常。
Shift-JIS---按Shift-JIS读取—对应的Unicode---转回Shift-JIS—按Shift-JIS查看,正常。

可以看出,ASP中的处理是对称的,所以对于直接输出和简单处理的文字,codepage设置为什么都没有影响,只要文件的编码和最终显示的charset相同,那么就会正常显示。

TOP

To V37.
我一直疑惑那个日文搜索会内存溢出的问题,好奇怪啊,百思不得其解。

我觉得没准和编码有关啊。(我是不是有点疯疯癫癫了,哈哈)

另:response.charset应该是设置服务器的响应流的charset的。
因为除了HTML源代码以外,还有很多Head等信息,它就是设置这些的。

而Meta那个charset完全是告诉浏览器按什么编码显示的,客户端的东西了。

TOP

以前就没有注意codepage的问题
因为一做页子就是:
<%@ codepage=936%>
<META http-equiv="Content-Type" content="text/html; charset=GB2312">
都是简体中文的东东,所以也没出现什么问题
呵呵,今天看了几位的分析,受益匪浅!!
顶!!!!
在Web程序的开发中度过每一天......
我Blog:
一只小海豹!

TOP

学习,要不断的学习!

向你们各位学习!
哈哈!
人就是太奇怪了!

TOP

我用记事本编辑文件:
<%@LANGUAGE="VBSCRIPT" CODEPAGE="65001"%>
<%
Response.Charset = "utf-8"
Dim usr, msg
user = "我的名字"
msg = "黑客帝国欢迎你"

Response.Write ("userName=" & user & "&message=" & msg)
%>

然后以默认的ANSI保存,再改扩展名为asp文件,显示乱码,保存成utf-8格式就正常,那么请问CODEPAGE="65001"和纪事本的保存编码之间是什么关系呢?
把握现在,面向未来

TOP

引用:
只要文件的编码和最终显示的charset相同,那么就会正常显示。
我是这样认为的。
你这里charset=utf8,所以文件要保存为utf8的。codepage倒无所谓。

TOP

我试了,在dw里把文件编码改成utf-8,然后不管codepage怎么改,都能正常显示中文。
同样的代码拷到记事本中,按默认的ANSI保存----乱码,保存成utf-8,正常,我又仔细的看了一下,布鲁斯狼的结论很好
把握现在,面向未来

TOP

我想问一下,用flash通过asp(gb2312,我试着改为UTF-8编码,也不行啊,不知是不是flash方面的问题)读取access数据库中的数据,显示出来的是乱码,请各位帮忙解决一下!
天行健,君子以自强不息!

TOP

asp文件本身的编码也要用UTF-8得。
flash里面还能指定一个编码,utf-8?不懂了,反正能指定编码。
你应该使用asp返回值给flash的脚本用吧?

TOP

恩,flash中能指定utf-8编码,我是用asp生成了一个xml文件,然后返回值给flash读取,
我在asp中的"codepage=UTF-8"和"xml中都用了utf-8编码"后,显示的也是乱码
天行健,君子以自强不息!

TOP

xml的格式里第一行还有个encoding呢,也要等于utf-8吧。

TOP

为什么utf-8什么出问号了?
http://www.qlili.com 个人站帮点啊

TOP

[asp]还是有点糊涂,帮忙看看我的问题出在哪里?

我在简体系统下用ASP+SQL server2000(英文版)写的程序,字符集charset没有特别设置,使用系统默认的。但出现一个问题,就是:
  如果我在繁体系统下通过表单输入数据然后提交到ASP程序保存在数据库中,则在简体系统下输入关键字查找数据(输入中文)却找不到,但在繁体系统下工作正常。显示倒是很正常。
  不知道编码应该如何设置?

  请高手指点。谢谢!

TOP

1。你的程序是简体中文的?在简体中文机器上跑?
2。繁体系统是用繁体输入法输入繁体字,还是简体字?简体系统下搜索时输入的是繁体还是简体?
=====================
如果你的代码是GB2312的,那么就一律<%@codepage=936%>
charset=GB2312应该就行了。

TOP

非常感谢小雨的回复!

1,我的程序是在简体系统下用ASP写的,在ASP中我没有指定<%@codepage=936%>
2,在简体系统下我用简体输入法(智能陈桥五笔),在繁体系统下也用智能陈桥(它支持繁体输入)输入资料。

另外有个问题就是:
 如果我在ASP程序中都加上<%@codepage=936%>的话,那以后在繁体系统下用繁体输入法输入资料保存到数据库中会不会出现乱码?

TOP

不会出现乱码。
因为简体中文字库>繁体字库,所以繁体转换到简体时,总是能找到对应的字,
程序接收的已经是简体Unicode的了,数据库里的数据都不会乱码,后面读取显示自然没有问题。
==============================
而如果是繁体的代码,charset=big5的话,输入简体中文,就有出现乱码的可能。
因为简体-->繁体的转换,就可能没有字对应。
========================================
陈桥输出的繁体字是纯繁体内码的吧?
如果是,那么数据库里应该是对应的简体字的,
输入简体字检索应该可以检索到的。
====================
你先都加上codepage看看吧。

TOP

我认为文件的编码和输入法没有关系。有些字某些输入法没有,是输入法的字库不完整造成的。
决定文件编码的,主要还是文件以什么形式的编码被系统存储。

关于怎么解决ASP的CodePage问题,这儿有篇比较详细的文章。
http://k888.k989.com/transbaker/blog/blogview.asp?logID=21

btw:俺凑的blog,写的很皮毛。不对的地方欢迎批评。
凤翱翔于千仞兮,非梧不栖。
士伏处于一方兮,非主不依。
乐躬耕于陇亩兮,吾爱吾庐。
聊寄傲于琴书兮,以待天时。

[img]http://img.bbs4.tom.com/upload_img/375/200503/pic_1111395563.

TOP

以下是我的代码,我用记事本把它保存成了utf-8,但是运行根本添加不进数据库;错误提示为:对象关闭时,操作不被允许。
我真的被这个东西搞死了!好烦!
复制内容到剪贴板
代码:
<%@LANGUAGE="VBSCRIPT" CODEPAGE="65001"%>
<%
'dim conn,connstr
'-----------------非管理员页面连接DB文件
On Error Resume Next
connstr="DBQ="+server.mappath("test.mdb")+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};"
Set conn=Server.CreateObject("ADODB.CONNECTION")
conn.open connstr
Set rs = Server.CreateObject("Adodb.RecordSet")
%>
<html>
<head>
<title>添加</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<link href="CSS/Style.css" rel="stylesheet" type="text/css">
<body>
<%
if Request.ServerVariables("REQUEST_METHOD")="POST" then
    Sql = "select * from tUser"
    rs.open Sql,conn,3,3
    rs.Addnew
    rs("UserName") = request.Form("UserName")
    rs("UserPsw") = request.Form("UserPsw")
    rs.update
    rs.close
    if err = 0 then
    response.Write("ok,add success")
    else
    response.Write(err.description)
    end if
end if
%>
<a href="testLogin.asp">Login</a><form name="form1" method="post" action="">
  <input name="UserName" type="text" id="UserName">
  <input name="UserPsw" type="text" id="UserPsw">
  <input type="submit" name="Submit" value="提交">
</form>
</body>
</html>
X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
听说是病毒特征代码。

TOP

哦,估计是数据库连接没有打开。
先把On error ...注释掉,然后看错误信息。

TOP

恩,我现在发现一个很怪的问题:
首先,我把: On Error Resume Next 去掉了以后,错误提示是:
Microsoft OLE DB Provider for ODBC Drivers 错误 '80004005'

[Microsoft][ODBC Microsoft Access 驱动程序]常见错误 不能打开注册表关键字 'Temporary (volatile) Jet DSN for process 0x490 Thread 0x604 DBC 0x3067b8c Jet'。

/menu/testAddShow.asp,行7
好象是数据库没有连接上的原因。

然后呢,我又在此基础上,把
<%@LANGUAGE="VBSCRIPT" CODEPAGE="65001"%>
改成
<%@LANGUAGE="VBSCRIPT" CODEPAGE="936"%>
同时把
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
改成
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
以后,执行成功,数据库可以连接,数据也可以添加,我倒!为什么会这样?

同时,我查询了顶贴中的数据库的那个帖子 发现有这样一个问题:
----------------------------------------------------------------------
錯誤代碼
無法開啟登錄鍵

中文版:[Microsoft][ODBC Microsoft Access Driver]一般錯誤 無法開啟登錄鍵 'Temporary (volatile) Jet DSN for process 0x898 Thread 0x914 DBC 0x209e024 Jet'

英文版:Microsoft OLE DB Provider for ODBC Drivers (0x80004005) [Microsoft][ODBC Microsoft Access Driver]General error Unable to open registry key 'Temporary (volatile) Jet DSN for process 0x6cc Thread 0x78c DBC 0x144cfc4 Jet'.

這個問題可能有很多原因,最常見的情況為資料庫的路徑設定不正確,因此需要檢查檔案中資料庫路徑的設定 與實體目錄對印是否正確.另外,IIS的權限設定也會影響,需檢查該IUSER是否有存取權限,關於IUSER的權限設定 可參考範例
設定方式同上
----------------------------------------------------------------------
但是我别的程序,不是设置了
<%@LANGUAGE="VBSCRIPT" CODEPAGE="65001"%>
的都能正确连接和更新,只有设置了这个,就出错了!
我超级郁闷!
X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*
听说是病毒特征代码。

TOP

编码为UTF-8时,格式化显示一段文字和字符的处理要麻烦点。

如,我想显示一篇文章是汉字和字符组合的,这时我指定每行显示80个字符的话,显示效果不理想啊,大家可以试试。

TOP

一直没有好好注意过这个问题,看了后觉得需要重视这个问题了!不过还是有点迷糊,如果页面的文字都用 UTF-8 来写,是不是就不存在在其他的文字系统下面出现乱嘛的问题。而后在form提交这里因为,各个语言系统提交的不会都是UTF-8,所以是不是在入库的时候转换好,而出库的时候还是UTF-8来写,这样也可以避免乱麻呢?
一点模糊的想法
RAYBEST DESIGN STUDIO(www.raybest.cn)

TOP

全程都是Utf-8,一切烦恼都没有了。
可以在任何语言环境下跑,可以输入和同时显示任何语言。爽吧。

TOP

To:布鲁斯狼

UTF1.HTM 若选择浏览器菜单“查看”——“编码”——“除简体中文以外”,页面出现乱码。 ie中没有这个选项吧!!!

UTF2.HTM中,您的 编码采用UTF-8。这个编码是在那里体现出来的,您的代码里边根本就没有!

那么现在,个人总结得出:从utf2.html和utf4.html比较得,页面显示的和文件所采用的字符集并无直接关系,其只是一个声明作用。真正的主体还是该文件保存时的编码格式:ANSI Or UTF-8

但是,如何在代码中设定 文件的编码格式呢??

TOP