harmony-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Alexei Fedotov <alexei.fedo...@gmail.com>
Subject Re: [performance] The DaCapo benchmark suite
Date Mon, 01 Feb 2010 16:40:26 GMT
Mark,
Thanks for a nice result. I wonder how others (e.g. Sun) perform in
respect to M12a.





On Mon, Feb 1, 2010 at 6:30 PM, Mark Hindess
<mark.hindess@googlemail.com> wrote:
>
> I decided to have a play with the dacapo-9.12-bach benchmark suite.
> I've appended some preliminary results below.
>
> I attempted to run all the benchmarks 10 times on the linux/x86_64
> milestone releases.  For this run I used:
>
>  java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK
>
> That is, I used the default arguments to dacapo.
>
> The results only include those benchmarks which ran successfully.  I
> include the number of runs in the table as some benchmark/milestone
> combinations were unstable.  If a benchmark/milestone combination is not
> listed then that is because it did not complete successfully at all.
> The tomcat benchmark is missing because it hung on early milestones so I
> stopped running it completely in order to make progress.  If any other
> benchmark has no table then it didn't run correctly on any milestone
> release.
>
> It is worth noting that M12a is missing from the eclipse benchmark
> results as it fails to run.  This is a regression so we'd better fix
> that for M13.
>
> The recently added benchmarks are described at:
>
>  http://www.dacapobench.org/RELEASE_NOTES.txt
>
> and the more mature benchmarks are listed at:
>
>    http://www.dacapobench.org/benchmarks.html
>
> I'm doing an indentical run on linux/x86 to see if that is similar (and
> because we released more milestones on this platform).  I'll probably
> also do a longer run with some warmup iterations to see how much that
> affects the results.
>
> I also plan to do some runs with the lock-free data structures as found
> in several open JIRA to see what affect they might have.
>
> Comments and suggestions welcome.
>
> Regards,
>  Mark.
>
>
> Key
> ---
>
> JRE is the identifier for the JRE executing the benchmark.
>
> Runs is the number of test runs that passed (low numbers => instability?).
>
> The % field is a percentage slow down compared to the fastest result.  That
> is:
>
>  100 * (average execution time for test jre)
>        -------------------------------------
>        (average execution time for fastest jre)
>
> The result is a simple graph of average execution time normalized based
> on the slowest result.  That is:
>
>  '#' x 50 * (average execution time for test jre)
>             -------------------------------------
>             (average execution time for slowest jre)
>
>
>
> avrora
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |   10 | 105.33 | #################################################
> 4   |   10 | 100.00 | ##############################################
> 5   |   10 | 100.20 | ##############################################
> 6   |   10 | 106.09 | #################################################
> 7   |   10 | 106.00 | #################################################
> 8   |   10 | 106.38 | #################################################
> 9   |   10 | 107.35 | #################################################
> 10  |   10 | 107.43 | ##################################################
> 11  |   10 | 105.72 | #################################################
> 12a |   10 | 104.74 | ################################################
>
>
> eclipse
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 4   |    8 | 100.00 | #########################################
> 5   |   10 | 105.57 | ###########################################
> 6   |   10 | 121.82 | ##################################################
> 7   |   10 | 121.14 | #################################################
> 8   |    9 | 114.81 | ###############################################
> 9   |   10 | 117.91 | ################################################
> 10  |   10 | 120.62 | #################################################
> 11  |   10 | 120.75 | #################################################
>
>
> h2
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |   10 | 465.09 | ###################################
> 4   |   10 | 452.09 | ##################################
> 5   |   10 | 542.44 | #########################################
> 6   |   10 | 659.49 | #################################################
> 7   |   10 | 660.54 | ##################################################
> 8   |   10 | 106.57 | ########
> 9   |    9 | 104.79 | #######
> 10  |   10 | 102.68 | #######
> 11  |   10 | 104.59 | #######
> 12a |   10 | 100.00 | #######
>
>
> jython
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |    3 | 132.51 | ##################################################
> 4   |   10 | 106.80 | ########################################
> 5   |   10 | 101.26 | ######################################
> 6   |   10 | 114.75 | ###########################################
> 7   |   10 | 110.02 | #########################################
> 8   |   10 | 111.64 | ##########################################
> 9   |   10 | 113.61 | ##########################################
> 10  |   10 | 105.72 | #######################################
> 11  |   10 | 100.00 | #####################################
> 12a |   10 | 101.84 | ######################################
>
>
> luindex
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |   10 | 119.61 | ####################################
> 4   |   10 | 100.00 | ##############################
> 5   |   10 | 131.18 | #######################################
> 6   |   10 | 163.73 | #################################################
> 7   |   10 | 162.09 | #################################################
> 8   |   10 | 161.77 | #################################################
> 9   |   10 | 164.58 | ##################################################
> 10  |   10 | 149.63 | #############################################
> 11  |   10 | 126.35 | ######################################
> 12a |   10 | 121.90 | #####################################
>
>
> lusearch
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |   10 | 104.11 | #############################################
> 4   |   10 | 100.22 | ###########################################
> 5   |   10 | 100.00 | ###########################################
> 6   |   10 | 110.02 | ###############################################
> 7   |   10 | 111.72 | ################################################
> 8   |   10 | 112.95 | #################################################
> 9   |   10 | 110.91 | ################################################
> 10  |   10 | 113.52 | #################################################
> 11  |   10 | 112.63 | ################################################
> 12a |   10 | 115.06 | ##################################################
>
>
> pmd
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |   10 | 128.18 | ##################################################
> 4   |   10 | 100.00 | #######################################
> 5   |   10 | 100.53 | #######################################
> 6   |   10 | 110.18 | ##########################################
> 7   |   10 | 109.56 | ##########################################
> 8   |   10 | 109.22 | ##########################################
> 9   |   10 | 111.14 | ###########################################
> 10  |   10 | 109.39 | ##########################################
> 11  |   10 | 110.12 | ##########################################
> 12a |   10 | 112.53 | ###########################################
>
>
> sunflow
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 4   |   10 | 100.00 | ################################################
> 5   |   10 | 103.23 | #################################################
> 6   |   10 | 103.86 | #################################################
> 8   |   10 | 102.61 | #################################################
> 9   |   10 | 103.43 | #################################################
> 10  |   10 | 103.86 | ##################################################
> 11  |   10 | 102.99 | #################################################
> 12a |   10 | 102.38 | #################################################
>
>
> xalan
>
> JRE | Runs |      % | Result (normalized, smaller is better)
> 1   |   10 | 189.74 | ##################################################
> 4   |   10 | 100.00 | ##########################
> 5   |   10 | 101.77 | ##########################
> 6   |   10 | 114.44 | ##############################
> 7   |   10 | 119.99 | ###############################
> 8   |   10 | 113.32 | #############################
> 9   |   10 | 114.40 | ##############################
> 10  |   10 | 114.26 | ##############################
> 11  |   10 | 115.82 | ##############################
> 12a |   10 | 118.19 | ###############################
>
>
>



-- 
With best regards / с наилучшими пожеланиями,
Alexei Fedotov / Алексей Федотов,
http://www.telecom-express.ru/
http://harmony.apache.org/
http://www.expressaas.com/
http://openmeetings.googlecode.com/

Mime
View raw message