<div dir="ltr">Thanks Joe.<div><br></div><div>I see those tier definitions in the various TEST.groups files but it's not obvious to me how to run them all with one simple invocation (neither make nor jtreg).</div><div><br></div><div>The command line you gave doesn't seem to tell jtreg which TEST.ROOT directories to operate on.</div><div><br></div><div>It looks like </div><div>jtreg ... langtools/test:tier1 jdk/test:tier1 </div><div>works, but I was looking for a simpler way to "run all the tier1 tests" without enumerating all the roots (there are currently 7!)</div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Sep 16, 2015 at 5:25 PM, Joseph D. Darcy <span dir="ltr"><<a href="mailto:joe.darcy@oracle.com" target="_blank">joe.darcy@oracle.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dropping the jtreg alias.<div><div class="h5"><br>
<br>
On 9/16/2015 5:18 PM, Martin Buchholz wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Just now for the first time I ran all the jtreg tests in the "jdk_stable" test set using<br>
make test TEST=jdk_stable<br>
and I got around 50 failures out of 5000.<br>
Is that expected?<br>
<br>
Instead, I expect that with all the work on the test suite y'all have been doing, that the expected failure rate of something with a name like "jdk_stable" would be 0.<br>
<br>
</blockquote>
<br></div></div>
For JDK 9 dev, the tier 1 tests across repos should be stable. Currently, only the langtools and jdk repos have non-empty tier 1 tests sets defined.<br>
<br>
If you run<br>
<br>
    jtreg ... -exclude:ProblemList.txt -k:intermittent :tier1<br>
<br>
there are some tier 1 test that are known to fail intermittently, but at this point with very low frequency (at least with the testing I'm exposed to).<br>
<br>
HTH,<br>
<br>
-Joe<br>
<br>
</blockquote></div><br></div>