如何进行数据分堆比较有效率?


说对一批数据按照相似性进行分堆,如何比较有效率?

前提和假设:
1、数据存在两两相似的对照关系,比如A和B相似,B和C相似,E和F相似
2、假设相似关系是可传递的
目的:
将这些数据按照相似关系进行分堆,结果类似[[A,B,C],[E,F]]

由于数据量比较大,一个个遍历去分堆会越来越慢。
大家有什么好的思路能最有效率,除了算法也可以提供现成可用的技术方案?

分堆 大数据

花开院柚罗 10 years, 9 months ago

并查集
初始设所有的数据的父亲为自己
然后遍历数据之间的关系
对每一个关系将其中的一个数据的父亲设为对方的父亲
遍历完关系以后具有相同 的两个数据是属于同一类的
根需要进行递归查找,可以在查找的时候进行路径压缩

Synaric answered 10 years, 9 months ago

Your Answer