如何在少动内存的情况下加载数据库里的数据?


现在有这样一个问题:

1、数据在数据库里;
2、 function Func(data) ,其中data需要大概100k条数据;

一般情况下,先把100k的数据读到内存中,通过函数Func调用,但耗内存;

如何在少动内存的情况下把数据库里的数据加载进 Func(data)

感觉用迭代器似乎可以?但不确定

请教?

python 内存

黑网吧D逆袭 9 years, 5 months ago

分成两部分来回答这个问题吧

  1. 从数据库里query,需要切分从数据库里查询的内容,可以使用id作为游标,把100k的数据切割成比如每次100条query回来,然后调用Func处理
  2. func本身的逻辑应该不需要全部的100kdata都在内村里才能完成,如果是比较简单的操作,func处理每一个切割开的数据片都没有问题的话,可以把最后的结果累加起来(或者reduce出来可能更合适)

对于迭代器来说,主要是用来封装对于数据库的查询的切分而言的,也就是每次查询100条还是10000条数据,使用迭代器封装后,对于func来说都是一样的。

蒙奇【D】路飞 answered 9 years, 5 months ago

Your Answer