Python： 把不确定编码的文本统一转换为 unicode 的

jhuangjiahua

Python

转换不确定编码的文本

依次尝试不同的编码，出现异常就尝试下一个
[php]
def zhtounicode(str):
        for c in ('utf-8', 'gbk', 'big5', 'jp', 'kr'):   
                try:
                        return str.decode(c)
                except:
                        pass
        return str

[/php]


原讨论：http://www.linuxforum.net/forum/ ... ;fpart=1#Post574179

sfatsdu

汗，我碰到的问题是从网上抓下的网页，想从中截取某部分tag，才发现编码有错误，比如，明明知道是gbk编码，但是直接用iconv转换成utf-8就出错。不知道huahua有没有自动纠错的脚本。

jhuangjiahua

sfatsdu:
可以用用 autogb  , 她可以自动识别编码，在字数 > 100 时候，几乎没有识别错误的

在包 zh-autoconvert 里
zh-autoconvert - Chinese HZ/GB/BIG5/UNI/UTF7/UTF8 encodings auto-converter

1. 
   
2. hua@hua:~$ autogb -h
   
3. autogb: invalid option -- h
   
4. 
   
5. Usage: autogb [-OPTION] < input > output
   
6. Now autoconvert can only judge gb/big5/hz encoding, so if you want to
   
7. do other conversion, you must set the option --input.  Without --input,
   
8. the program will guess the encoding of the input.
   
9. OPTION is one of (case insensitive):
   
10. -i encoding, --input encoding:                 Set the input encoding
    
11. -o encoding, --output encoding:                        Set the output encoding
    
12. The encoding should be gb, big5, hz, uni, utf7 or utf8.
    

复制代码

如  autogb -o utf8 < old.html > new.html