python使用chardet判断字符串编码,超简单的代码

mac2022-06-30  30

下面代码段是关于python使用chardet判断字符串编码,超简单的代码,应该是对码农有较大用。

import chardetf = open('file','r')fencoding=chardet.detect(f.read())print fencoding

  fencoding输出格式{'confidence':0.96630842899499614,'encoding':'GB2312'},只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

了解python中str的编码后可以利用decode和encode来实现编码的转换。

一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型,然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型,如下。

 

一般情况下window默认编码gbk,linux默认编码utf8python编程中系统编码,python编码,文件编码的概念。

系统编码:默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

python编码:指python内设置的解码方式。如果不设定的话,python默认的是ascii解码方式。如果python源代码文件中不出现中文的话,这个地方怎么设定应该不会问题。

import sysreload(sys)sys.setdefaultencoding('UTF-8')

文件编码:文本的编码方式,linux下vim利用setfileencoding查看。

 

一般情况下输出乱码的原因就是没有按照系统解码的方式进行编码。

比如prints,s类型为str,linux系统下系统默认编码为utf8编码,s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。prints.decode('gbk').encode('utf8')才能输出中文。

window下面情况相同,window默认编码为gbk编码,所以s输出前必须编码为gbk。

python处理中一般处理unicode类型。这样输出前直接编码即可。

转载于:https://www.cnblogs.com/Wladybird/p/11249699.html

相关资源:chardet python 字符串编码类型 判断
最新回复(0)