批量的生成大批有相互关系的静态页面遇到性能瓶颈
场景:
视频id:vid
专辑id:pid
单视频地址:abc.com/vplay/vid.html
专辑地址 abc.com/pplay/pid/1...3.html
队列:starling
逻辑:
1.专辑信息改动,所有专辑地址需要重新生成一次页面
2.单视频改动,除单视频地址重新生成页面,还需找到相关所有包含该视频的专辑地址也要重新生成一次页面(专辑有个字段vidstring:vid1,vid2,vid3)
问题:
1.队列堆积的时候不好控制(准备换队列,可以设置优先级的)
2.涉及专辑集数很多的情况,生成播放页需要大量的时间,导致新上线的视频播放页生效慢。
3.极大浪费服务器的资源
求相关的优化方案。
苦逼少年-乱码
12 years, 11 months ago
Answers
如果很明确就是页面生成太耗时间导致的,建议你从以下几方面入手分析问题的原因:
1、页面生成是否可并发进行。你用队列来实现说明有次序的问题要考虑,但是不是所有的生成操作都需要一个一个地顺序处理?数据一致性有没有可能通过其它方式来保证?如果页面生成可以并行化,那么伸缩性就可以大幅提升,碰到性能问题就不会这么窘迫了。
2、页面生成的逻辑是不是有调优空间。既然你已经使用了memory cache,那生成一个页面差不多应该在几十ms量级,做个profiling看看在哪里消耗了过多的时间。如果大量的页面需要频繁更新,那就要考虑是不是应该放弃静态页面,改用动态页面来实现。因为静态页面的主要好处是便于CDN缓存,但是页面更新太频繁CDN的效率也会降低,何况视频网站主要成本在视频的带宽占用,页面上CDN的收益不高。
擦屁股老抠穿纸
answered 12 years, 11 months ago