2007-08-13

问题规模与求解规模

Zawodny所给出的一组Hadoop数据,尽管如数据所示,Hadoop的性能日益提升,海量数据的处理能力不断增强。然而数据同时显示,性能并不完全随计算节点大量增加而大幅提升,反而微幅降低。问题关键是我们通过改善调度能否解决掉这个问题,还是对于不同求解,存在一个最大规模,超过它任何只会降低性能。


(图来自:Hadoop Wiki )

Date:
Nodes Hours
April 2006 188 47.9
May 2006 500 42.0
December 2006 20 1.8
December 2006 100 3.3
December 2006 500 5.2
December 2006 900 7.8
July 2007 20 1.2
July 2007 100 1.3
July 2007 500 2.0
July 2007 900 2.5
(数据来源:http://www.infoq.com/news/2007/08/hadoop-momentum)

没有评论: