假设新浪微博里的微博数据条数有数亿了,请问新浪现在想查询浏览量最高的前10条数据,如何做?


假设新浪微博里的微博数据条数有数亿了,请问新浪现在想查询浏览量最高的前10条数据,如何做?

关系型数据库 数据库 数据库性能优化 nosql 架构师成长之路

metal 10 years, 3 months ago

如果题目是

一个GB级文件,每行一个数字(32位正整数),一共几亿个,如何快速查询最大的10个数。

那么,这是一个算法题。

我们学的那些数据结构和算法,只是一个思想,关键是领悟,举一反三,触类旁通。


而你的题目,是一个工程题。

数亿级别的项目我没有接触过,只做过百万级别的。

首先,罗马不是一天建成的,而前十也不是突然产生的。在只有几万条数据的时候,就已经有前十了,这时的前十名很容易计算出来。当数据越多的时候,那么前十名就越发稳定。这时的前十名只需要在少量的数据中变更,而不需要再遍历整个数据群。

在一个表里面记录排名前100的,每当访问情况变更是,就和这100条记录比较一下,如果比里面的次数多了,那么就将这条记录插入表中。然后……

咦~~ 怎么这么熟悉啊。还记得排序算法里面有个插入排序吗?别把知识学死了。

看看 SF 的榜单,综合、月榜、周榜、日榜,就明白了。

回到你的问题,第一种情况,设计合理,那么在网站的运行过程中,前十名已经出来了。

第二种情况,最初只是记录的浏览次数,现在领导访问,说要看看前十名,那么完了,我觉得只能用笨方法了。

或者,在数据库里面记录“浏览次数的数量级”,我上一个项目就用了这个方法:

  • 万以下 0
  • 万级 1
  • 十万 2
  • 百万 3
  • ……

找前十的时候,前面的可以直接忽略。

无节操撸过 answered 10 years, 3 months ago

Your Answer