pyquery爬虫中文乱码
用pyqurery爬到的东西中文乱码，如图
我在程序的头部加入了
author = 'liyuhang'
coding:utf-8
import urllib,urllib2,sys
from lxml import etree
from pyquery import PyQuery as pq
reload(sys)
sys.setdefaultencoding('utf8')
但是结果就出现如图的样子了...
这是怎么回事呢..
度姐说和谐你们
10 years, 2 months ago
Answers
已经解决了，
原因应该是原本的页面没有设定好charset，PyQuery将它当作是unicode了，所以没有转换encode，直接作为unicode存储了
不是了解PyQuery，所以我的方法不是很好
page = urllib2.urlopen("
http://example
")
text = unicode(page.read(), "utf-8")
query = PyQuery(text)
微笑的迪妮纱
answered 10 years, 2 months ago