python解析中文json插入数据库错误


这是需要解析的json文件内容。
{
"datasources": [
{
"datasource": " http://xxx ",
"group_type": "xxx",
"label": "\u65e5\u5e38\u4e2d\u5fc3"
}
]
}

这里采用python来解析这个文本内容如下:


 #!/usr/bin/env python
#encoding: utf-8

import json
from db import db
import sys

def run():
    db = db()
    with open("cluster_info.txt") as f:
        data = json.load(f)
    print data
    conn = db.connect()
    db.execute(conn, "set names utf-8;")
    for d in data["datasources"]:
        datasource = d["datasource"]
        group_type = d["group_type"]
        label = d["label"]
        sql = "insert into t1 (`c1`, `c2`, `c3`) values ('%s', '%s', '%s')" %\
            (datasource, group_type, label)
        db.execute(conn, sql)
    db.disconnect(conn)

if __name__ == "__main__":
    run()

但是在解析的过程中始终无法把数据插入到数据库中,报的错误如下:


 UnicodeEncodeError: 'latin-1' codec can't encode characters in position 151-154: ordinal not in range(256)

自己尝试过各种编码解码,始终没能够解决这个乱码问题。

python json mysql

暴力大哥大 10 years, 3 months ago

首先尝试一下还原现场,看一下执行 db.execute 之前关键变量的值,


 In [46]: dic
Out[46]: 
{u'datasources': [{u'datasource': u'http://xxx',
   u'group_type': u'xxx',
   u'label': u'\u65e5\u5e38\u4e2d\u5fc3'}]}

In [47]: dic['datasources'][0]['label']
Out[47]: u'\u65e5\u5e38\u4e2d\u5fc3'

所以,需要向数据库中加数据前,先将label字符串encode为相应的编码吧。(因为别的值只是字母字符串,所以不会报错。)

Stefan answered 10 years, 3 months ago

Your Answer