如何将多组日志文件合并成一组
现在有个需求,将多组日志(每组日志文件包含多个日志,每个日志20M)合并成一个,按照日志内容中的时间戳排序后,生成一组日志文件(每个日志100m)。
原有数据格式为:
[URL][时间戳]
我目前的想法有两种,一种是将所有日志都存到内存里 然后排序。另外一种是读一段排一段,咨询了下别人,说有相关的多文件排序算法,所以想请教下。有没有简单的框架或者排序算法。
ruiziyi
9 years, 10 months ago