关于大数据量,数据传输和存储问题
场景一
条件:
数据库有表A,里面有100W条数据。
操作
把表里面的数据全部取出来,进行处理
问题
-
能不能一次全部取出来?既通过
select 字段1,字段2 from A
来取出数据?
(除了防止取出数据取出太多导致内存溢出,还有什么需要考虑的吗?) - 这里需要确定每次需要取出来的数据的个数,需要考虑到哪些因素?
场景二
条件:
A服务有一批数据,需要调用B服务的接口来获取详细信息.B服务提供的是一个批量的接口
操作
A服务通过RPC调用B服务
问题:
- 这里的一批数据能不能通过B服务的批量接口,通过一次RPC全部取过来(如果不能。主要担心的是什么?)
- 这里需要确定每次查询数据的个数,需要考虑到哪些因素?
峯岸-みなみ
10 years, 5 months ago
Answers
2个场景先单纯的说一下
场景一:
1.能不能一次全部取出来?既通过select 字段1,字段2 from A来取出数据?
(除了防止取出数据取出太多导致内存溢出,还有什么需要考虑的吗?)
2.这里需要确定每次需要取出来的数据的个数,需要考虑到哪些因素?
第一,你括弧中写的就是最大的问题。
第二,不考虑第一里面的括弧,这第二个问题最需要考虑。
你的需求是怎样的?有没有时间的限定?全拿一起处理也许会很慢,要不要分批分线程处理?当然全拿还要考虑db查询的速度和数据的准确性,100W如果字段不多没有大字段类型(text,blob等)应该还好。
场景二:
1.这里的一批数据能不能通过B服务的批量接口,通过一次RPC全部取过来(如果不能。主要担心的是什么?)
2.这里需要确定每次查询数据的个数,需要考虑到哪些因素?
第一,这取决于B接口是怎么设计的,如果你想问的是能不能做到,答案是可以,主要担心的就是别给它太多了,它查的慢了?返回的太大了?
第二,见下
2个场景连起来说一下吧。
其实你的问题还是性能,100W的数据处理要分批,但不知道怎样做是最好的,我建议你先把这个处理的环境搭起来之后带入数据自己测一下,这方面的问题很复杂不是一两句能说清楚的。
根据测试的结果自己来调节处理的速度和程序的性能,性能里面包含了实现,实现的方式也有很多种的,比如上面我提到的多线程处理,这还要看你查询的数据是否能使用分批的去做。
无敌南千秋
answered 10 years, 5 months ago