ASCII码:美国人发明并使用,用1个字节(8位二进制)代表一个字符,ASCII码是其他任意编码表的子集(utf-16除外).
Unicode:包含和兼容全世界的语言,与全世界的语言都有映射关系,常用2个字节表示一个字符,1个生僻字用4个字节表示.
utf-8:可变长编码,英文用1个字节表示,汉字通常是3个字节,生僻字常用4-6个字节表示,uft-8比Unicode编码节省空间和I/O开销.
关于Unicode和utf-x格式之间的关系,可以认为utf-x是Unicode的一种特殊类型,在存取数据时,内部会自动在Unicode和utf-x之间转换.
在内存中,统一使用的都是Unicode编码(固定,集成在操作系统中),所以可以转换为任意其他国家自定义的编码(这样就不会乱码);在将数据存入硬盘时,需要将Unicode转换为一种更精准的格式,即utf-8,将数据控制在最精准和节省空间;而磁盘数据读入缓存到内存中时,则需要将utf-8转换为Unicode.
在python2.x中,默认使用ASCII编码作为字符编码;而在python3.x中,默认使用Unicode作为默认字符编码.
import sys print(sys.getdefaultencoding()) ‘ascii‘ #python2.x默认字符编码 --------------------------------- import sys print(sys.getdefaultencoding()) ‘utf-8‘ #python3.x默认字符编码 --------------------------------- U=u‘阿凡达‘ #3*3=9字节,8*9=72bytes U1=bytes(U,‘utf-8‘) print(U1) # 构造Unicode字符,结果是 b‘\xe9\x98\xbf\xe5\x87\xa1\xe8\xbe\xbe‘,\x代表16进制存储,1个字符代表4byte,18*4=72bytes
两张图读懂字符编码与解码之间的关系,编码和解码对应,就不会出现乱码了,参考资料及图片来源:
https://www.cnblogs.com/f-ck-need-u/p/10185965.html
https://www.cnblogs.com/linhaifeng/articles/5950339.html
编码: str ---> bytes (encode) 解码: bytes ---> str (decode) 二进制格式的数据也常称为裸数据(raw data)，str数据经过编码后得到raw data，raw data解码后得到的str. 内存中是unicode-------->encode编码保存-------->utf-8保存到磁盘(二进制) utf-8磁盘里保存-------->decode解码缓存到内存中---------->unicode内存中
注意: 编码和解码的过程中,与软件指定的编码(字符集)也有关系,必须对应. ###################### print((set(dir(str)))-set(dir(bytes))) #字符串类型只有编码encode()方法,没有解码decode() print((set(dir(bytes)))-set(dir(str))) #字节串类型只有解码decode()方法,没有编码encode() -------------------- {‘format‘, ‘isdecimal‘, ‘casefold‘, ‘format_map‘, ‘isidentifier‘, ‘isnumeric‘, ‘isprintable‘, ‘encode‘} {‘hex‘, ‘decode‘, ‘fromhex‘}
str:字符串类型,有序有索引,序列数据,可以迭代取值,但属于不可变类型,底层存储由一个个二进制组成,也就是bytes.python3.x中str默认是Unicode(uft-8)格式编码.
bytes:字节串类型,二进制字节数据,有序有索引,序列数据,可以迭代取值,也属于不可变类型.
bytearray:可变的字节串类型,属于可变的二进制数据(bytes),属于可变类型.
import sys #python3.x下查看默认字符编码为 utf-8 print(sys.getdefaultencoding()) #结果是 utf-8 ---------------------------- B=b‘aaa‘ print(type(B),B) #构造bytes类型,需在字符串前加 b ,结果是<class ‘bytes‘> b‘aaa‘ ---------------------------- B=b‘aaa‘ # 构造bytearray类型及改值 By=bytearray(B) print(type(By),By) print(list(i for i in By)) By[0]=98 #改值 print(By) #By=b‘baa‘,a子串值已改变 -------构造bytearray结果 <class ‘bytearray‘> bytearray(b‘aaa‘) [97, 97, 97] bytearray(b‘baa‘)
文件从内存写到硬盘的操作简称存文件,文件从硬盘读到内存的操作简称读文件.
乱码的原因:
1)存文件时就已经乱码(编辑的字符和编辑器设定保存的字符编码不一致)
2)存文件时不乱码而读文件时乱码(存时的文件字符编码和读时编辑器设定的字符编码不对应)
解决乱码的办法: 字符按照什么标准而编码的，就要按照什么标准解码,即编码和解码对应.
为了避免乱码,在python文件中指定解释器和文件头也是一种方法.
#!/usr/bin/env python <===指定解释器(限linux) # -*- coding: utf-8 -*- <===指定字符编码(等同于#coding:utf-8)来将数据读入内存
原文：https://www.cnblogs.com/blog-tim/p/11507947.html