python編碼規范總結、python編碼轉換

所有的 Python 腳本文件都應在文件頭標上 #-*- coding:utf8 -*- 。設置編輯器，默認保存為 utf8 格式。

編碼

Python核心發布中的代碼必須始終使用ASCII或Latin-1編碼(又名 ISO-8859-1)，使用ASCII的文件不必有編碼cookie，Latin-1僅當注釋或文檔字符串涉及作者名字需要Latin-1時才被使用：

另外使用\x轉義字符是在字符串中包含非ASCII(non-ASCII)數據的首選方法。

作為PEP 263實現代碼的測試套件的部分文件是個例外。

導入

通常應該在單獨的行中導入(Imports)，例如：

No：import sys， os

Yes：import sys

import os

但是這樣也是可以的：

from types import StringType， ListType

Imports 通常被放置在文件的頂部，僅在模塊注釋和文檔字符串之后，在模塊的全局變量和常量之前。Imports應該有順序地成組安放：

1、標準庫的導入(Imports )

2、相關的主包(major package)的導入(即，所有的email包在隨后導入)

3、特定應用的導入(imports)

你應該在每組導入之間放置一個空行，對于內部包的導入是不推薦使用相對導入的，對所有導入都要使用包的絕對路徑。

從一個包含類的模塊中導入類時，通?？梢詫懗蛇@樣：

from MyClass import MyClass

from foo.bar.YourClass import YourClass

如果這樣寫導致了本地名字沖突，那么就這樣寫

import MyClass

import foo.bar.YourClass

即使用"MyClass.MyClass"和"foo.bar.YourClass.YourClass"

【所謂unicode】

unicode是一種類似于符號集的抽象編碼，它只規定了符號的二進制代碼，卻沒有規定這個二進制代碼應該如何存儲。也就是它只是一種內部表示，不能直接保存。所以存儲時需要規定一種存儲形式，比如utf-8和utf-16等。理論上unicode是一種能夠容納全世界所有語言文字的編碼方案。（其他編碼格式不再多說）

【所謂GB碼】

GB就是“國標”的意思，即：中華人民共和國國家標準。GB碼是面向漢字的編碼，包括GB2312（GB2312-80），GBK，GB18030，表示范圍從小到大遞增，而且基本是向下兼容的。此外經常遇到一種叫做CP936的編碼，實際上可以大概看做是GBK。

【判斷編碼】

1、使用isinstance(s, str)來判斷一個字符串是否為一般字符串（str為ascii類型的字符串，utf-8、utf-16、GB2312、GBK等都是ascii類型的字符串）；

使用isinstance(s, unicode)來判斷一個字符串是否為unicode編碼形式的字符串（unicode編碼的字符串才是unicode類型的字符串）。

2、使用type()或者.__class__

在編碼正確的情況下：

例如：stra = "中", 則使用type(stra)的結果是<type 'str'>，表明為ascii類型字符串；

例如：strb = u"中", 則使用type(strb)的結果是<type 'unicode'>，表明為unicode類型字符串。

[python] view plaincopy

tmp_str = 'tmp_str'  

print tmp_str.__class__         #<type 'str'>  

print type(tmp_str)             #<type 'str'>  

print type(tmp_str).__name__    #str  

tmp_str = u'tmp_str'  

print tmp_str.__class__         #<type 'unicode'>  

print type(tmp_str)             #<type 'unicode'>  

print type(tmp_str).__name__    #unicode  

3、最好的辦法是使用chardet判斷，特別是在web相關的操作中，例如抓取html頁面內容時，頁面的charset標簽只是標示編碼，有時候不對，而且頁面內容中一些中文可能超出了標示編碼的范圍，此時用charset檢測最為方便準確。

（1）安裝辦法：下載chardet后，將解壓得到的chardet文件夾放在python安裝目錄的\Lib\site-packages目錄下，在程序中使用import chardet即可。

（2）使用辦法1：檢測全部內容判斷編碼

[python] view plaincopy

import urllib2  

import chardet  

res = urllib2.urlopen('http://www.csdn.net/')  

res_cont = res.read()  

res.close()  

print chardet.detect(res_cont)  #{'confidence': 0.99, 'encoding': 'utf-8'}  

detect函數返回值為一個包含2個鍵值對的字典，第一個是檢測置信度，第二個就是檢測到的編碼形式。

（3）使用辦法2：檢測部分內容判斷編碼，提高速度

[python] view plaincopy

import urllib2  

from chardet.universaldetector import UniversalDetector  

res = urllib2.urlopen('http://www.csdn.net')  

detector = UniversalDetector()  

for line in res.readlines():  

    #detect untill reach threshold  

    detector.feed(line)  

    if detector.done:  

        break  

detector.close()  

res.close()  

print detector.result  

#{'confidence': 0.99, 'encoding': 'utf-8'}  

【轉換編碼】

1、從具體的編碼（ISO-8859-1[ASCII碼]，utf-8，utf-16，GBK，GB2312等）轉換為unicode，直接使用unicode(s, charset)或者s.decode(charset)，其中charset為s的編碼（注意unicode在使用decode()時會出錯）；

[python] view plaincopy

#將任意字符串轉換為unicode  

def to_unicode(s, encoding):  

    if isinstance(s, unicode):  

        return s  

    else:  

        return unicode(s, encoding)  

注意：這里在decode()的時候，如果遇到非法字符（比如不標準的全角空格\xa3\xa0，或者\xa4\x57，真正的全角空格是\xa1\xa1），就會報錯。
解決辦法：采用'ignore'模式，即：stra.decode('...', 'ignore').encode('utf-8')。
解釋：decode的函數原型是decode([encoding],[errors='strict'])，可以用第二個參數控制錯誤處理的策略。
默認的參數就是strict，代表遇到非法字符時拋出異常；如果設置為ignore，則會忽略非法字符；如果設置為replace，則會用?取代非法字符；如果設置為xmlcharrefreplace，則使用XML的字符引用。

2、從unicode轉換為具體的編碼，也是直接用s.encode(charset)，其中s為unicode編碼，charset為具體的編碼（注意非unicode在使用encode()時會出錯）；

3、自然地，從一種具體編碼轉換為另一種具體編碼，就可以先decode成unicode再encode成最終編碼了。

【python命令行編碼（系統編碼）】

用python自帶的locale模塊來檢測命令行的默認編碼（也就是系統的編碼）和設置命令行編碼：

[python] view plaincopy

import locale  

#get coding type  

print locale.getdefaultlocale() #('zh_CN', 'cp936')  

#set coding type  

locale.setlocale(locale.LC_ALL, locale='zh_CN.GB2312')  

print locale.getlocale()    #('zh_CN', 'gb2312')  

表明當前系統的內部編碼是cp936，近似于GBK。實際上中文XP和WIN7的系統內部編碼都是cp936（GBK）。

【python代碼中的編碼】
1、python代碼中的字符串在未被指定編碼的情況下，默認編碼與代碼文件本身的編碼一致。舉個例子：str = '中文'這個字符串，如果是在utf8編碼的代碼文件中，該字符串就是utf8編碼；如果是在gb2312的文件中，該字符串就是gb2312編碼。那么代碼文件本身的編碼怎么知道呢？

（1）自己指定代碼文件的編碼：在代碼文件的頭部加上“#-*- coding:utf-8 -*-”來聲明該代碼文件為utf-8編碼。此時未被指定編碼的字符串的編碼都變成了utf-8。

（2）在沒有指定代碼文件的編碼時，創建代碼文件時使用的是python默認采用的編碼（一般來說是ascii碼，在windows中實際保存為cp936（GBK）編碼）。通過sys.getdefaultencoding()和sys.setdefaultencoding('...')來獲取和設置該默認編碼。

[python] view plaincopy

import sys  

reload(sys)  

print sys.getdefaultencoding()  #ascii  

sys.setdefaultencoding('utf-8')  

print sys.getdefaultencoding()  #utf-8  

結合（1）和（2）做個試驗：指定代碼文件編碼為utf-8時，用notepad++打開顯示的是utf-8無DOM編碼；未指定代碼文件編碼時，用notepad++打開顯示的是ANSI編碼（壓縮編碼，默認的保存編碼形式）。

（3）如何永久地將python默認采用的編碼設置為utf-8呢？有2種方法：
第一個方法<不推薦>：編輯site.py，修改setencoding()函數，強制設置為 utf-8；
第二個方法<推薦>：增加一個名為 sitecustomize.py的文件，存放在安裝目錄下的\Lib\site-packages目錄下
sitecustomize.py是在site.py被import執行的，因為 sys.setdefaultencoding()是在site.py的結尾處被刪除的，所以可以在 sitecustomize.py使用 sys.setdefaultencoding()。

2、python代碼中的字符串如果被指定了編碼，舉個例子：str = u'中文'，該字符串的編碼被指定為unicode（即python的內部編碼）。

（1）這里有個誤區需要注意！假如在py文件中有如下代碼：

[python] view plaincopy

stra = u"中"  

print stra.encode("gbk")  

按上面說的stra是unicode形式，直接encode稱gbk編碼應該沒問題??？但是實際執行時會報錯“UnicodeEncodeError: 'gbk' codec can't encode character u'\xd6' in position 0: illegal multibyte sequence”。

原因在于：python解釋器在導入python代碼文件并執行時，會先查看文件頭有沒有編碼聲明（例如#coding:gbk等）。如果發現聲明，會將文件中的字符串都先解釋成unicode的形式（這里先用默認編碼gbk（cp936）將stra解碼成unicode編碼'd6d0'后保存），之后執行stra.encode('gbk')時，由于stra已經是unicode編碼且'd6d0'在gbk的編碼范圍內，所以編碼不會出現錯誤；如果文件頭沒有編碼聲明，則不會進行上述過程中的解碼操作（這里就直接使用stra的unicode編碼'd6'），之后執行stra.encode('gbk')時，由于'd6'不在gbk的編碼范圍所以報錯。

（2）為避免這種類型的錯誤，最好在代碼文件頭上聲明編碼，或者麻煩點每次使用setdefaultencoding()。

（3）總的來說就是unicode是python解釋器的內碼，所有代碼文件在導入并執行時，python解釋器會先將字符串使用你指定的編碼形式解碼成unicode，然后再進行各種操作。所以不管是對字符串的操作，還是正則表達式，還是讀寫文件等等最好都通過unicode來進行。

【python中其他編碼】
文件系統的編碼：sys.getfilesystemencoding()
終端的輸入編碼：sys.stdin.encoding
終端的輸出編碼：sys.stdout.encoding

python 編碼轉換

主要介紹了python的編碼機制，unicode, utf-8, utf-16, GBK, GB2312,ISO-8859-1 等編碼之間的轉換。

常見的編碼轉換分為以下幾種情況：

自動識別 字符串編碼

可以使用 chardet 模塊自動識別 字符創編碼

chardet 使用方法

unicode 轉換為其它編碼(GBK, GB2312等)

例如：a為unicode編碼 要轉為gb2312。a.encode('gb2312')

# -*- coding=gb2312 -*-a = u"中文"a_gb2312 = a.encode('gb2312')print a_gb2312

GBK 與 GB2312的區別

GB 碼，全稱是GB2312-80《信息交換用漢字編碼字符集基本集》，1980年發布，是中文信息處理的國家標準，在大陸及海外使用簡體中文的地區（如新加坡等）是強制使用的唯一中文編碼。P- Windows3.2和蘋果OS就是以GB2312為基本漢字編碼， Windows 95/98則以GBK為基本漢字編碼、但兼容支持GB2312。GB碼共收錄6763個簡體漢字、682個符號，其中漢字部分：一級字3755，以拼音排序，二級字3008，以偏旁排序。該標準的制定和應用為規范、推動中文信息化進程起了很大作用。

GBK編碼是中國大陸制訂的、等同于UCS的新的中文編碼擴展國家標準。GBK工作小組于1995年10月，同年12月完成GBK規范。該編碼標準兼容GB2312，共收錄漢字21003個、符號883個，并提供1894個造字碼位，簡、繁體字融于一庫。

GBK 包括 GB2312的所有編碼，有些字GB2312沒有，需要用GBK來編碼。

轉: gbk, gb2312,big5,unicode,utf-8,utf-16的區別

其它編碼(utf-8,GBK)轉換為unicode

例如：a為gb2312編碼，要轉為unicode. unicode(a, 'gb2312')或a.decode('gb2312')

# -*- coding=gb2312 -*-a = u"中文"a_gb2312 = a.encode('gb2312')print a_gb2312
a_unicode = a_gb2312.decode('gb2312')assert(a_unicode == a)a_utf_8 = a_unicode.encode('utf-8')print a_utf_8

非unicode編碼之間的轉換

編碼1(GBK,GB2312) 轉換為 編碼2(utf-8,utf-16,ISO-8859-1)

可以先轉為unicode再轉為編碼2

如gb2312轉utf-8

# -*- coding=gb2312 -*-a = u"中文"a_gb2312 = a.encode('gb2312')print a_gb2312 a_unicode = a_gb2312.decode('gb2312')assert(a_unicode == a)a_utf_8 = a_unicode.encode('utf-8')print a_utf_8

判斷字符串的編碼

isinstance(s, str) 用來判斷是否為一般字符串 
isinstance(s, unicode) 用來判斷是否為unicode 
如果一個字符串已經是unicode了，再執行unicode轉換有時會出錯(并不都出錯) 

下面代碼為將任意字符串轉換為unicode

def u(s, encoding):    if isinstance(s, unicode):        return s    else:        return unicode(s, encoding)

Unicode 與其它編碼之間的區別

為什么不所有的文件都使用unicode，還要用GBK，utf-8等編碼呢？

unicode可以稱為抽象編碼，也就是它只是一種內部表示，一般不能直接保存。
保存到磁盤上時，需要把它轉換為對應的編碼，如utf-8和utf-16。

其它方法

除上以上的編碼方法，在讀寫文件時還可以使用codecs的open方法在讀寫時進行轉換。

命令行默認編碼檢測和設置

可以用python自帶的模塊locale來檢測命令行默認編碼和設置命令行編碼。

import locale #get locale.getdefaultlocale()#('zh_CN', 'cp936') #setlocale.setlocale(...)

漢字轉Unicode編碼

    pd_name = pd_name.decode('utf-8')
    print pd_name
    nname = ""
    for c in pd_name:
      c = "%%u%04X" % ord(c);
      nname += c