harmony-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Mark Hindess" <mark.hind...@googlemail.com>
Subject [performance] The DaCapo benchmark suite
Date Mon, 01 Feb 2010 15:30:54 GMT

I decided to have a play with the dacapo-9.12-bach benchmark suite.
I've appended some preliminary results below.

I attempted to run all the benchmarks 10 times on the linux/x86_64
milestone releases.  For this run I used:

  java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK

That is, I used the default arguments to dacapo.

The results only include those benchmarks which ran successfully.  I
include the number of runs in the table as some benchmark/milestone
combinations were unstable.  If a benchmark/milestone combination is not
listed then that is because it did not complete successfully at all.
The tomcat benchmark is missing because it hung on early milestones so I
stopped running it completely in order to make progress.  If any other
benchmark has no table then it didn't run correctly on any milestone
release.

It is worth noting that M12a is missing from the eclipse benchmark
results as it fails to run.  This is a regression so we'd better fix
that for M13.

The recently added benchmarks are described at:

  http://www.dacapobench.org/RELEASE_NOTES.txt

and the more mature benchmarks are listed at:

    http://www.dacapobench.org/benchmarks.html

I'm doing an indentical run on linux/x86 to see if that is similar (and
because we released more milestones on this platform).  I'll probably
also do a longer run with some warmup iterations to see how much that
affects the results.

I also plan to do some runs with the lock-free data structures as found
in several open JIRA to see what affect they might have.

Comments and suggestions welcome.

Regards,
 Mark.


Key
---

JRE is the identifier for the JRE executing the benchmark.

Runs is the number of test runs that passed (low numbers => instability?).

The % field is a percentage slow down compared to the fastest result.  That
is:

  100 * (average execution time for test jre)
        -------------------------------------
        (average execution time for fastest jre)

The result is a simple graph of average execution time normalized based
on the slowest result.  That is:

  '#' x 50 * (average execution time for test jre)
             -------------------------------------
             (average execution time for slowest jre)



avrora

JRE | Runs |      % | Result (normalized, smaller is better)
1   |   10 | 105.33 | #################################################
4   |   10 | 100.00 | ##############################################
5   |   10 | 100.20 | ##############################################
6   |   10 | 106.09 | #################################################
7   |   10 | 106.00 | #################################################
8   |   10 | 106.38 | #################################################
9   |   10 | 107.35 | #################################################
10  |   10 | 107.43 | ##################################################
11  |   10 | 105.72 | #################################################
12a |   10 | 104.74 | ################################################


eclipse

JRE | Runs |      % | Result (normalized, smaller is better)
4   |    8 | 100.00 | #########################################
5   |   10 | 105.57 | ###########################################
6   |   10 | 121.82 | ##################################################
7   |   10 | 121.14 | #################################################
8   |    9 | 114.81 | ###############################################
9   |   10 | 117.91 | ################################################
10  |   10 | 120.62 | #################################################
11  |   10 | 120.75 | #################################################


h2

JRE | Runs |      % | Result (normalized, smaller is better)
1   |   10 | 465.09 | ###################################
4   |   10 | 452.09 | ##################################
5   |   10 | 542.44 | #########################################
6   |   10 | 659.49 | #################################################
7   |   10 | 660.54 | ##################################################
8   |   10 | 106.57 | ########
9   |    9 | 104.79 | #######
10  |   10 | 102.68 | #######
11  |   10 | 104.59 | #######
12a |   10 | 100.00 | #######


jython

JRE | Runs |      % | Result (normalized, smaller is better)
1   |    3 | 132.51 | ##################################################
4   |   10 | 106.80 | ########################################
5   |   10 | 101.26 | ######################################
6   |   10 | 114.75 | ###########################################
7   |   10 | 110.02 | #########################################
8   |   10 | 111.64 | ##########################################
9   |   10 | 113.61 | ##########################################
10  |   10 | 105.72 | #######################################
11  |   10 | 100.00 | #####################################
12a |   10 | 101.84 | ######################################


luindex

JRE | Runs |      % | Result (normalized, smaller is better)
1   |   10 | 119.61 | ####################################
4   |   10 | 100.00 | ##############################
5   |   10 | 131.18 | #######################################
6   |   10 | 163.73 | #################################################
7   |   10 | 162.09 | #################################################
8   |   10 | 161.77 | #################################################
9   |   10 | 164.58 | ##################################################
10  |   10 | 149.63 | #############################################
11  |   10 | 126.35 | ######################################
12a |   10 | 121.90 | #####################################


lusearch

JRE | Runs |      % | Result (normalized, smaller is better)
1   |   10 | 104.11 | #############################################
4   |   10 | 100.22 | ###########################################
5   |   10 | 100.00 | ###########################################
6   |   10 | 110.02 | ###############################################
7   |   10 | 111.72 | ################################################
8   |   10 | 112.95 | #################################################
9   |   10 | 110.91 | ################################################
10  |   10 | 113.52 | #################################################
11  |   10 | 112.63 | ################################################
12a |   10 | 115.06 | ##################################################


pmd

JRE | Runs |      % | Result (normalized, smaller is better)
1   |   10 | 128.18 | ##################################################
4   |   10 | 100.00 | #######################################
5   |   10 | 100.53 | #######################################
6   |   10 | 110.18 | ##########################################
7   |   10 | 109.56 | ##########################################
8   |   10 | 109.22 | ##########################################
9   |   10 | 111.14 | ###########################################
10  |   10 | 109.39 | ##########################################
11  |   10 | 110.12 | ##########################################
12a |   10 | 112.53 | ###########################################


sunflow

JRE | Runs |      % | Result (normalized, smaller is better)
4   |   10 | 100.00 | ################################################
5   |   10 | 103.23 | #################################################
6   |   10 | 103.86 | #################################################
8   |   10 | 102.61 | #################################################
9   |   10 | 103.43 | #################################################
10  |   10 | 103.86 | ##################################################
11  |   10 | 102.99 | #################################################
12a |   10 | 102.38 | #################################################


xalan

JRE | Runs |      % | Result (normalized, smaller is better)
1   |   10 | 189.74 | ##################################################
4   |   10 | 100.00 | ##########################
5   |   10 | 101.77 | ##########################
6   |   10 | 114.44 | ##############################
7   |   10 | 119.99 | ###############################
8   |   10 | 113.32 | #############################
9   |   10 | 114.40 | ##############################
10  |   10 | 114.26 | ##############################
11  |   10 | 115.82 | ##############################
12a |   10 | 118.19 | ###############################



Mime
View raw message