Scrapy爬虫框架抓取中文结果为Unicode编码,如何转换UTF-8编码
关于Python的编码一直是一个痛……半夜研究Scrapy的时候抓取了一下内容,抓取了一些中文内容。都是
\u5173\u4e8e
的Unicode编码。
我想将取得的内容转成UTF-8正常的显示中文应该怎么做?在Scrapy看得有点晕,Python转编码还好。
表示Scrapy取的好像是
list类型
不能对该类型进行编码解码吧?
主要是我不知道怎么写这段代码的说……
另,假如我入库MySQL以
charset='utf8'
不知道会不会正常的转成中文UTF-8而不是Unicode?
查阅了不少资料,有点迷迷糊糊的没看懂,遂到SF问一下~
thanks~
duolab
10 years, 6 months ago
Answers
我遇到过一样的问题,可以参考
http://git.oschina.net/ldshuang/imax-spider/commit/1d05d7bafdf7758f7b422cc1133abf493bf55086
上海红茶馆
answered 10 years, 6 months ago