python3 字符串，字节流的编码问题
正在做网页爬虫，得到许多注入下列变量code的字符，想尝试将他们转换为utf-8的string输出到文件里，转换不成功，问题如下。
#Python 3.4.0
#coding:utf-8
import os
code = '\xe8\xb1\x86\xe7\x93\xa3'
bytes = code.encode(encoding='utf-8')
douban = str(bytes.decode('utf-8'))
#print(str(bytes.decode('utf-8')))
file_object = open('test.txt', 'w')
file_object.write(douban)
file_object.close()
十四ちゃん
11 years, 2 months ago
Answers
首先，我觉得你需要认识这么几个概念：
1. unicode：在本文中表示用4byte表示的unicode编码，也是python内部使用的字符串编码方式。
2. utf-8：在本文中只最少1byte表示的unicode编码方式。
其次，你需要知道decode和encode之间的关系。
-
encode： 从unicode编码为指定编码方式。
例如：
string.encode("utf-8")。表示string从unicode编码方式编码为utf-8编码方式。
前提：string必须是unicode的编码方式，不然会出错。 -
decode：从指定编码方式解码为unicode方式。
例如：
string.decode("utf-8")。表示string从utf-8编码方式解码为unicode编码方式。
前提：string必须是utf-8(你指定的编码方式），不然会出错。
可以看出，
在python中，所有格式的中间编码方式就是
unicode
，需要从编码A转换为编码B，只需要
string.decode("A").encode("B")
就可以了。
有了上面的知识储备再回到你的问题。
你的
code = '\xe8\xb1\x86\xe7\x93\xa3'
根据我的经验看起来就是utf-8的编码方式（因为我看到的utf-8编码都是\xFF这种样式，但是我不确定这两者之间的绝对关系），所以这块应该使用
u_code = code.decode("utf-8")
来使得
code
解码为
unicode
，再将其编码为你需要的编码方式（例如gb18030）。
而，你的需求中写到，你希望写入文件的是utf-8的编码格式，所以你可以直接
file_object.write(code)
。这样你文件中的内容就是
utf-8
编码的。
如果你拿到一个字符串，你不知道他的编码方式，可以试试 chardet ，他会给出字符串的编码格式，和信赖度。可以作为你的参考。
文中有任何问题请联系我，欢迎指出问题。
传说神泪丶
answered 11 years, 2 months ago