mysql数据库插入10亿条数据,查询出所有的数据,检索某一条数据,数据库该如何设计,分表该如何做


数据表的字段如下:

id:主键
title:文章标题
content:文章内容
time:发布时间
readcount:阅读次数

主要问题描述

1、昨天测试了一下,直接for循环插入,一次最多只能插入7W条的数据,而如果我现在想一次性插入10亿条的数据,插入过程该如何书写?
2、现在手上没有分部署数据库、没有服务器,只在本地测试
3、考虑性能优化,一张表已经不能满足需求了,因此我可能需要多张分表来处理,这些分表该如何设计?每一张表里面存储多少条数据合适?
4、如果我还需要将这10亿条数据全部查询出来做分页,怎么优化比较合适?
5、如果我需要检索其中的某一条数据,如何做到快速查询?
6、新增一个:对这10亿条数据按阅读次数从大到小排序

目前 考虑到的就是这些,谢谢。

数据库 数据库性能优化 数据库设计

売小刀 10 years, 2 months ago

1、超时了吧?是的话,加上超时限制的代码,比如php的就是set_time_limit(0);
2、装虚拟环境试验;
3、分表跟你自己具体的业务有关;
4、参考博文: http://zhangxugg-163-com.iteye.com/blog/1677437
5、索引+热点数据缓存+分表+分库

茶姬上的杯具 answered 10 years, 2 months ago

Your Answer