psycopg2 大量数据插入/更新性能优化
在写一个数据统计的脚本,基本流程是从一个表中取出数据(现在每次取约10万条记录),在内存中进行一些整理和计算,再插入/更新到另外一张表中,每次经过整理的需要插入/更新的数据大约有几万到十几万条。
源数据表和目的数据表都事先建好了索引,查询操作都是通过索引查找。
因为用的数据库是postgresql 9.4, 不支持upsert功能,
最开始在插入数据时,对于每条要插入的数据,先select 判断数据是否存在,存在则update,否则insert
后来做了一些优化,在select判断之后用两个list分别保存要插入和更新的数据,然后在list缓存比较多的数据之后用executemany一次性插入或者更新数据,再执行commit,但是性能还是不够理想,请问有什么好的建议吗?
PostgreSQL python 数据库 数据库性能优化 psycopg
kqm141
9 years, 3 months ago