走过平凡人生、留下平凡足迹 注册 | 登陆

php对gb编码动态转utf-8编码的几种方法

Submitted by aming on 2008, March 21, 12:20 PM. PHP

在《IP地址->地理位置转换的测评》一文中提到用ip2addr函数直接读取IP数据库文件是效率最高的，相比用mysql(和php搭配之最佳组合)数据库存储IP数据，用SQL查询是效率最低的。但是IP数据库文件QQWry.dat是GB2312编码的。现在我需要UTF-8编码的地理位置结果。如果用MySQL(和PHP搭配之最佳组合)方法，可以在数据存入数据库时就转换为UTF-8编码，一劳永逸。但是QQWry.dat文件又无法修改，只能把ip2addr函数的输出结果再进行动态转换。

动态转换GB->UTF-8编码至少有四种方法：

用php(做为现在的主流开发语言)的iconv扩展转换

用php(做为现在的主流开发语言)的mb_string扩展转换

用对换表转换，对换表存储在MySQL(和PHP搭配之最佳组合)数据库中

用对换表转换，对换表存储在文本文件中

前两种方法要服务器作了相应设置（编译安装了相应扩展）才能使用。我的虚拟主机没有这两个扩展，只好考虑后两种方法。前两个方法本文也不进行测评。

测评程序如下（func_ip.php(做为现在的主流开发语言)参见《IP地址->地理位置转换的测评》一文）：

 

PHP代码
  1. <?php(做为现在的主流开发语言)  
  2. require_once ("func_ip.php(做为现在的主流开发语言)");  
  3. function u2utf8($c) {  
  4.   $str = "";  
  5.   if ($c < 0x80) {  
  6.     $str .= $c;  
  7.   } elseif ($c < 0x800) {  
  8.     $str .= chr(0xC0 | $c >> 6);  
  9.     $str .= chr(0x80 | $c & 0x3F);  
  10.   } elseif ($c < 0x10000) {  
  11.     $str .= chr(0xE0 | $c >> 12);  
  12.     $str .= chr(0x80 | $c >> 6 & 0x3F);  
  13.     $str .= chr(0x80 | $c & 0x3F);  
  14.   } elseif ($c < 0x200000) {  
  15.     $str .= chr(0xF0 | $c >> 18);  
  16.     $str .= chr(0x80 | $c >> 12 & 0x3F);  
  17.     $str .= chr(0x80 | $c >> 6 & 0x3F);  
  18.     $str .= chr(0x80 | $c & 0x3F);  
  19.   }  
  20.   return $str;  
  21. }  
  22. function GB2UTF8_SQL($strGB) {  
  23.   if (!trim($strGB)) return $strGB;  
  24.   $strRet = "";  
  25.   $intLen = strlen($strGB);  
  26.   for ($i = 0; $i < $intLen; $i++) {  
  27.     if (ord($strGB{$i}) > 127) {  
  28.         $strCurr = substr($strGB, $i, 2);  
  29.         $intGB = hexdec(bin2hex($strCurr)) - 0x8080;  
  30.         $strSql = "SELECT code_unicode FROM nnstats_gb_unicode 
  31.           WHERE code_gb = ".$intGB." LIMIT 1"  
  32.         ;  
  33.         $resResult = MySQL(和PHP搭配之最佳组合)_query($strSql);  
  34.         if ($arrCode = MySQL(和PHP搭配之最佳组合)_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);  
  35.         else $strRet .= "??";  
  36.         $i++;  
  37.     } else {  
  38.         $strRet .= $strGB{$i};  
  39.     }  
  40.   }  
  41.   return $strRet;  
  42. }  
  43. function GB2UTF8_FILE($strGB) {  
  44.   if (!trim($strGB)) return $strGB;  
  45.   $arrLines = file("gb_unicode.txt");  
  46.   foreach ($arrLines as $strLine) {  
  47.     $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));  
  48.   }  
  49.   $strRet = "";  
  50.   $intLen = strlen($strGB);  
  51.   for ($i = 0; $i < $intLen; $i++) {  
  52.     if (ord($strGB{$i}) > 127) {  
  53.         $strCurr = substr($strGB, $i, 2);  
  54.         $intGB = hexdec(bin2hex($strCurr)) - 0x8080;  
  55.         if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);  
  56.         else $strRet .= "??";  
  57.         $i++;  
  58.     } else {  
  59.         $strRet .= $strGB{$i};  
  60.     }  
  61.   }  
  62.   return $strRet;  
  63. }  
  64. function EncodeIp($strDotquadIp) {  
  65.   $arrIpSep = explode('.', $strDotquadIp);  
  66.   if (count($arrIpSep) != 4) return 0;  
  67.   $intIp = 0;    
  68.   foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);  
  69.   return $intIp;  
  70.   //return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);  
  71. }  
  72. function GetMicroTime() {  
  73.   list($msec, $sec) = explode(" ", microtime());  
  74.   return ((double)$msec + (double)$sec);  
  75. }  
  76. for ($i = 0; $i < 100; $i++) { // 随机产生100个ip地址  
  77.   $strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);  
  78.   $arrAddr[$i] = ip2addr(EncodeIp($strIp));  
  79. }  
  80. $resConn = MySQL(和PHP搭配之最佳组合)_connect("localhost", "netnest", "netnest");  
  81. MySQL(和PHP搭配之最佳组合)_select_db("test");  
  82. // 测评MySQL(和PHP搭配之最佳组合)查询的编码转换  
  83. $dblTimeStart = GetMicroTime();  
  84. for ($i = 0; $i < 100; $i++) {  
  85.   $strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);  
  86.   $strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);  
  87. }  
  88. $dblTimeDuration = GetMicroTime() - $dblTimeStart;  
  89. // 测评结束并输出结果  
  90. echo $dblTimeDuration; echo "\r\n";  
  91. // 测评文本文件查询的编码转换  
  92. $dblTimeStart = GetMicroTime();  
  93. for ($i = 0; $i < 100; $i++) {  
  94.   $strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);  
  95.   $strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);  
  96. }  
  97. $dblTimeDuration = GetMicroTime() - $dblTimeStart;  
  98. // 测评结束并输出结果  
  99. echo $dblTimeDuration; echo "\r\n";  
  100. ?>  

MySQL(和PHP搭配之最佳组合)查询转换：0.112
文本查询转换：10.590

MySQL(和PHP搭配之最佳组合)查询转换：0.099
文本查询转换：10.623

可见这次是MySQL(和PHP搭配之最佳组合)方法遥遥领先于文件查询法。但是现在还不急于使用MySQL(和PHP搭配之最佳组合)方法，因为文本文件方法之所以如此耗时，主要因为它每次转换都要把整个gb_unicode.txt读入内存，而gb_unicode.txt又是文本文件，格式如下：

0x2121   0x3000   # IDEOGRAPHIC SPACE
0x2122   0x3001   # IDEOGRAPHIC COMMA
0x2123   0x3002   # IDEOGRAPHIC FULL STOP
0x2124   0x30FB   # KATAKANA MIDDLE DOT
0x2125   0x02C9   # MODIFIER LETTER MACRON (Mandarin Chinese first tone)
……
0x552A   0x6458   # <CJK>
0x552B   0x658B   # <CJK>
0x552C   0x5B85   # <CJK>
0x552D   0x7A84   # <CJK>
……
0x777B   0x9F37   # <CJK>
0x777C   0x9F3D   # <CJK>
0x777D   0x9F3E   # <CJK>
0x777E   0x9F44   # <CJK>

文 本文件效率较低，于是考虑把文本文件转换为二进制文件，然后用折半法查找这个文件，而不需要把整个文件读入内存。文件格式为：文件头2字节，存储记录数； 接着一条接一条记录存入文件，每条记录4字节，前2字节对应GB代码，后2字节对应Unicode代码。转换程序如下：

 

PHP代码
  1. <?php(做为现在的主流开发语言)  
  2. $arrLines = file("gb_unicode.txt");  
  3. foreach ($arrLines as $strLine) {  
  4.   $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));  
  5. }  
  6. ksort($arrCodeTable);  
  7. $intCount = count($arrCodeTable);  
  8. $strCount = chr($intCount % 256) . chr(floor($intCount / 256));  
  9. $fileGBU = fopen("gbu.dat", "wb");  
  10. fwrite($fileGBU, $strCount);  
  11. foreach ($arrCodeTable as $k => $v) {  
  12.   $strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));  
  13.   fwrite($fileGBU, $strData);  
  14. }  
  15. fclose($fileGBU);  
  16. ?>  
  17. 执行程序后就获得了二进制的GB->Unicode对照表gbu.dat，并且数据记录按GB代码排了序，便于折半法查找。使用gbu.dat进行转码的函数如下：  
  18.   
  19. function GB2UTF8_FILE1($strGB) {  
  20.   if (!trim($strGB)) return $strGB;  
  21.   $fileGBU = fopen("gbu.dat", "rb");  
  22.   $strBuf = fread($fileGBU, 2);  
  23.   $intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});  
  24.   $strRet = "";  
  25.   $intLen = strlen($strGB);  
  26.   for ($i = 0; $i < $intLen; $i++) {  
  27.     if (ord($strGB{$i}) > 127) {  
  28.         $strCurr = substr($strGB, $i, 2);  
  29.         $intGB = hexdec(bin2hex($strCurr)) - 0x8080;  
  30.         $intStart = 1;  
  31.         $intEnd = $intCount;  
  32.         while ($intStart < $intEnd - 1) { // 折半法查找  
  33.           $intMid = floor(($intStart + $intEnd) / 2);  
  34.           $intOffset = 2 + 4 * ($intMid - 1);  
  35.           fseek($fileGBU, $intOffset);  
  36.           $strBuf = fread($fileGBU, 2);  
  37.           $intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});  
  38.           if ($intGB == $intCode) {  
  39.             $intStart = $intMid;  
  40.             break;  
  41.           }  
  42.           if ($intGB > $intCode) $intStart = $intMid;  
  43.           else $intEnd = $intMid;  
  44.         }  
  45.         $intOffset = 2 + 4 * ($intStart - 1);  
  46.         fseek($fileGBU, $intOffset);  
  47.         $strBuf = fread($fileGBU, 2);  
  48.         $intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});  
  49.         if ($intGB == $intCode) {  
  50.           $strBuf = fread($fileGBU, 2);  
  51.           $intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});  
  52.           $strRet .= u2utf8($intCodeU);  
  53.         } else {  
  54.           $strRet .= "??";  
  55.         }  
  56.         $i++;  
  57.     } else {  
  58.         $strRet .= $strGB{$i};  
  59.     }  
  60.   }  
  61.   return $strRet;  
  62. }  
  63. ?>  

把其加到原来的测评程序，对三种方法同时测评2次得到数据（精确到3位小数，单位：秒）：

MySQL(和PHP搭配之最佳组合)方法：0.125
文本文件方法：10.873
二进制文件折半法：0.106

MySQL(和PHP搭配之最佳组合)方法：0.102
文本文件方法：10.677
二进制文件折半法：0.092

可见二进制文件折半法还比MySQL(和PHP搭配之最佳组合)法略有优势。但是上述测评都是对短的地理位置进行转码，如果对较长的文本转码又如何呢？我找来5个Blog的rss 2.0文件，都是GB2312编码。测评三种方法对5个文件编码耗费的时间，2次测量数据如下（精确到3位小数，单位：秒）：

MySQL(和PHP搭配之最佳组合)方法：7.206
文本文件方法：0.772
二进制文件折半法：5.022

MySQL(和PHP搭配之最佳组合)方法：7.440
文本文件方法：0.766
二进制文件折半法：5.055

可见对长的文本是用文本文件的方法最优，因为转码对照表读入内存后，转码就可以很高效了。既然如此，我们还可以尝试改进一下，把文本文件方法改为：转码对照表从二进制文件gbu.dat读入内存，而不是文本文件。测评数据如下（精度和单位同上）：

从文本文件读入对照表：0.766
从二进制文件读入对照表：0.831

从文本文件读入对照表：0.774
从二进制文件读入对照表：0.833

表明这次改进失败了，从文本文件读入转码对照表更高效。

总结：用php(做为现在的主流开发语言)对GB编码到UTF-8编码的动态转换，如果每次转换的文本很小，适宜用二进制文件结合折半法转换；如果每次转换的文本较大，适宜用文本文件存储转码对照表，并在转换前一次性把对照表读入内存。

Tags: php

« 上一篇 | 下一篇 »

Trackbacks

点击获得Trackback地址,Encode: UTF-8 点击获得Trackback地址,Encode: GB2312 or GBK 点击获得Trackback地址,Encode: BIG5

发表评论

评论内容 (必填):