One of the things you've done is to create "test sets".<br>I did something like that in my "jtr" script (ask Tim if you can't find it).<br>For each logical component, it's non-trivial to find all the tests<br>
for that (e.g. how to test string handling).  <br>This is especially true for shared directories like java/lang<br>and java/util.  I don't think there's much value in creating a special<br>target for testing java/util, since<br>
1) jtreg can do that easily already<br>2) this doesn't match the job of any particular technology developer<br><br>What would be really useful is to try to fix all the tests<br>that fail under -samevm (perhaps by marking them<br>
@run othervm)<br><br>Martin<br><br><div class="gmail_quote">On Tue, Nov 3, 2009 at 18:03, Kelly O'Hair <span dir="ltr"><<a href="mailto:Kelly.Ohair@sun.com">Kelly.Ohair@sun.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>
I need some formal reviewers on these jdk/test/Makefile changes.<br>
<br>
More polish and changes may need to be done later, but there<br>
is value in what I have now, and I need lots of help to improve<br>
things (and fix some of our testcases).<br>
<br>
Here is the bugid and webrev:<br>
<br>
6888927: Fix jdk jtreg tests to indicate which ones need othervm, allow for use of samevm option<br>
<a href="http://cr.openjdk.java.net/%7Eohair/openjdk7/jdk7-build-samevm-6888927/webrev/" target="_blank">http://cr.openjdk.java.net/~ohair/openjdk7/jdk7-build-samevm-6888927/webrev/</a><br>
<br>
The goal was to see if we could easily run most of the regression<br>
tests in the jdk/test directory, in minimum time, and without so<br>
much noise (e.g. do not run unstable or problematic tests).<br>
This could then be used as a benchmark to validate some quality measure<br>
of the jdk7 that was built.<br>
<br>
The primary changes include:<br>
  * New jdk/test/Makefile targets: jdk_all jdk_lang jdk_util jdk_nio ...<br>
  * Addition of a jdk/test/ProblemList file to be used by jdk/test/Makefile<br>
<br>
I tried to group all the tests (by directory names) into jdk_* sets, then<br>
tried to balance them as to how long each set ran and if they could be run<br>
with the jtreg -samevm option. The balancing was tricky, and will need more<br>
polish, along with the virtual frame buffer idea. I also had to give up<br>
on the awt, rmi, and swing tests until the Xvfb issues are figured out.<br>
<br>
I chose to not actually modify the tests themselves if they needed fixing,<br>
it was just too overwhelming. So developers and teams may want to browse the<br>
ProblemList for their favorite tests (which aren't my favorites ;^) and<br>
consider what they might want to do.<br>
<br>
With this new jdk/test/Makefile, anybody can:<br>
<br>
  cd jdk/test<br>
  gnumake [PRODUCT_HOME=${YOUR_JDK7_HOME}] [JT_HOME=${YOUR_JTREG_HOME}] jdk_all<br>
<br>
And run about 3,000+ tests that SHOULD PASS in roughly 2 hours if your<br>
machine isn't too slow and old. I was able to run it in 90 minutes on a<br>
monster OpenSolaris AMD machine which had 16Gb RAM and 16 2.2Ghz cpus.<br>
<br>
Then I added "-j 4" to the gnumake command line and it only took 30mins!<br>
So the various jdk_* make targets can be run in parallel.<br>
<br>
Please let me know what you think.<br>
<br>
-kto<br>
<br>
<br>
</blockquote></div><br>