根据性能自动分配和轮循比较多。

不需要自己实现，有很多现成的工具，比如haproxy、nginx都可以达到这个目的， @atekul 同学提到的那些算法都有提供，可以自己选。

不请自来，算法目前就那么几种呗！
1.轮转
2.最短响应时间
3.随机
4.最少连接
当然还有其他。有些复杂的同时采用了多个算法。
其实都不怎么靠谱。因为大部分都是使用过去去推断未来。然而未来本来就没太大的可预测性。这样看的话随机反倒是一个更好的设计。概率论在这里有相当不错的表现。但也就是仅此而已。
这玩意和内存分页。磁盘寻址。是一回事。有些时候不是最优。只能忍了。