当前位置:主页   - 电脑 - 程序设计 - C/C++
《UTF-8与GB2312之间的互换》的改进
来源:网络   作者:   更新时间:2011-01-18
收藏此页】    【字号    】    【打印】    【关闭

  本文示例源代码或素材下载

  最近,在做一个小程序的时候,突然遇到了汉字编码转换问题。关于如何在UTF-8与GB2312之间转换的问题。在VC知识库里看到吴康彬的文章《UTF-8与GB2312之间的互换》,文章浅显易懂,代码也不长。省了我不少的找资料的时间。在此谢谢了。 :)

  在看代码的过程中,吴康彬用了许多字符串的转换,来进行2进制的运算,这就涉及到大量的IO操作,效率肯定比较低。而且编码转换的工作量往往非常大,因此效率问题很重要。而且,代码里,有许多,内存泄漏问题,可能是作者过于重视实现,没有注意这些细节问题。

  闲话少说,开始正题。在UTF-8,与UNICODE之间转换的时候,用二进制运算,代替了字符串的转换。UTF-8一个汉字,用3个字节,而UNICODE用2个字节;对应关系如下:UTF-8编码:    
   [1,1,1,0,A5,A6,A7,A8],  [1,0,B3,B4,B5,B6,B7,B8],     
   [1,0,C3,C4,C5,C6,C7,C8];

  对应的UNICODE编码:

[A5,A6,A7,A8,B3,B4,B5,B6],    
   [B7,B8,C3,C4,C5,C6,C7,C8]

  因此我们只需进行位操作,即可达到目的;如:

   // 把UTF-8转换成Unicode
   void CChineseCodeLib::UTF_8ToUnicode(WCHAR* pOut,char *pText)
   {
      char* uchar = (char *)pOut;
     
      uchar[1] = ((pText[0] & 0x0F) << 4) + ((pText[1] >> 2) & 0x0F);
      uchar[0] = ((pText[1] & 0x03) << 6) + (pText[2] & 0x3F);
  
      return;
   }
   // Unicode 转换成UTF-8
   void CChineseCodeLib::UnicodeToUTF_8(char* pOut,WCHAR* pText)
   {
     // 注意 WCHAR高低字的顺序,低字节在前,高字节在后
     char* pchar = (char *)pText;
     pOut[0] = (0xE0 | ((pchar[1] & 0xF0) >> 4));
     pOut[1] = (0x80 | ((pchar[1] & 0x0F) << 2)) + ((pchar[0] & 0xC0) >> 6);
     pOut[2] = (0x80 | (pchar[0] & 0x3F));
  
     return;
   }
  
   // 把Unicode 转换成 GB2312
   void CChineseCodeLib::UnicodeToGB2312(char* pOut,unsigned short uData)
   {
     WideCharToMultiByte(CP_ACP,NULL,&uData,1,pOut,sizeof(WCHAR),NULL,NULL);
     return;
   }  
  
   // GB2312 转换成 Unicode
   void CChineseCodeLib::Gb2312ToUnicode(WCHAR* pOut,char *gbBuffer)
   {
     ::MultiByteToWideChar(CP_ACP,MB_PRECOMPOSED,gbBuffer,2,pOut,1);
     return;
   }
  
   //GB2312 转为 UTF-8
   void CChineseCodeLib::GB2312ToUTF_8(string& pOut,char *pText, int pLen)
   {
      char buf[4];
      char* rst = new char[pLen + (pLen >> 2) + 2];
     
      memset(buf,0,4);
      memset(rst,0,pLen + (pLen >> 2) + 2);
     
      int i = 0;
      int j = 0;   
      while(i < pLen)
      {
          //如果是英文直接复制就可以
          if( *(pText + i) >= 0)
          {
              rst[j++] = pText[i++];
          }
          else
  伞     ?{
              WCHAR pbuffer;
              Gb2312ToUnicode(&pbuffer,pText+i);
             
              UnicodeToUTF_8(buf,&pbuffer);
             
              unsigned short int tmp = 0;
              tmp = rst[j] = buf[0];
              tmp = rst[j+1] = buf[1];
              tmp = rst[j+2] = buf[2];
             
             
              j += 3;
              i += 2;
          }
      }
      rst[j] = '''';
 
     //返回结果
  n   pOut = rst;      
      delete []rst; 
     
      return;
   }
  
   //UTF-8 转为 GB2312
   void CChineseCodeLib::UTF_8ToGB2312(string &pOut, char *pText, int pLen)
   {
     char * newBuf = new char[pLen];
     char Ctemp[4];
     memset(Ctemp,0,4);
     int i =0;
     int j = 0;
    
     while(i < pLen)
     {
        if(pText[i] > 0)
        {
            newBuf[j++] = pText[i++];           
        }
        else        
        {
            WCHAR Wtemp;
            UTF_8ToUnicode(&Wtemp,pText + i);
        
            UnicodeToGB2312(Ctemp,Wtemp);
          
            newBuf[j] = Ctemp[0];
            newBuf[j + 1] = Ctemp[1];
            i += 3;  
            j += 2; 
        }
     }
     newBuf[j] = '''';
    
     pOut = newBuf;
     delete []newBuf;
    
     return;
   }
  代码在WIN2K,VC++60 下编译,测试通过. 就说这么多吧,具体的大家看代码吧。草草的写的,大家莫笑,欢迎大家一起讨论; 觉觉罗。。。。

其它资源
来源声明

版权与免责声明
1、本站所发布的文章仅供技术交流参考,本站不主张将其做为决策的依据,浏览者可自愿选择采信与否,本站不对因采信这些信息所产生的任何问题负责。
2、本站部分文章来源于网络,其版权为原权利人所有。由于来源之故,有的文章未能获得作者姓名,署“未知”或“佚名”。对于这些文章,有知悉作者姓名的请告知本站,以便及时署名。如果作者要求删除,我们将予以删除。除此之外本站不再承担其它责任。
3、本站部分文章来源于本站原创,本站拥有所有权利。
4、如对本站发布的信息有异议,请联系我们,经本站确认后,将在三个工作日内做出修改或删除处理。
请参阅权责声明