百万级数据搜索优化


最近遇到了一个难题,就是在150万条记录中进行查询和搜索(带分页),查询部分必须带like查询和排序,我需要对其中的接口进行优化。原先的接口查第一页用时约0~1秒,最后一页3~4秒,我如果在其中添加索引可以达到,第一页用时约100~200毫秒,最后一页1.5~2秒,但数据要求比较高,有字段会频繁的Update,采用索引会比较慢,求解答,数据库是SQLSERVER2008,不考虑分布式数据库,因为没有这样的设备。

数据可视化 sqlserver

路人乙丙丁戊 10 years, 5 months ago

看你问题的意思是不想使用like字段的索引,提高检索效率,还真是难题

每次翻页的时候带上一个参数,这个参数在数据库中可以使用索引,比如咱们建表都有id原来翻页到后面几页的时候sql是这样的
SELECT * FROM xxx WHERE title LIKE '%xx%' ORDER BY id DESC LIMIT 900,10

如果你查找到了当前页最后一条数据,然后翻页的时候把这个id作为检索条件,sql是这样
SELECT * FROM xxx WHERE id < 1517801 AND title LIKE '%xxx%' ORDER BY id DESC LIMIT 10
这样检索效率会高很多

当然,这种方式解决的是翻页到后面比较慢的问题,还需要一个操作就是读写分离了,写库上面不加索引,读库上加上索引,这样更新的时候不会慢,检索也能用上索引

========================== 以下是完善 =======================================
就在看完这个问题没多久,我也有个项目面临这个问题,要是百万级数据,使用like '%xxx%'的方式检索,已经加上了读写分离,速度还是很慢,因为like列加索引也用不了,困扰了一段时间

后来有个解决方案,把like的列和id保存到mongodb,然后在检索出id后到mysql中用id in 的方式检索,速度绝对杠杠的,我这边的测试结果,速度快了100倍!绝对好使!

当然也有一定的成本,增删改的操作必须要同步更新mongodb,而且还要考虑操作失败的事务回滚

狂热粉真可怕 answered 10 years, 5 months ago

Your Answer