<div>I've attached an old gclog where it has similar behavior on the heap.  But the problem with that is it takes quite a long time, like 20 - 70 seconds.  The server basically went down with customers complaining during that time, so we had to try CMS, but that doesn't work out well either.</div>

<div> </div>
<div>We are having Sun Portal Server 6.2 on those web servers.  Do you know is it a normal behavior for Portal Server with about 400-500 users per instance?</div>
<div>Thanks,</div>
<div>TK<br><br></div>
<div class="gmail_quote">On Thu, Mar 27, 2008 at 5:10 PM, Jon Masamitsu <<a href="mailto:Jon.Masamitsu@sun.com">Jon.Masamitsu@sun.com</a>> wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">Late in this log I see<br><br>162417.510: [GC 162417.510: [ParNew: 370176K->11520K(381696K), 0.4232456<br>
secs] 3055096K->2715938K(3134208K), 0.4240171 secs]<br><br>At that point the heap is about 85% full (2715938K/3134208K).  The<br>tenured generation is almost completely full.<br><br>Do you have similar logs when using the default GC?  We could use them<br>
to verify the amount of live data.<br>
<div class="Ih2E3d"><br><br>T.K wrote:<br>><br>> Hi Jon,<br>><br>> Here's the attached gclog.  It starts out fine when we put in the change<br>> in the evening.  Eventually, the next morning (around 60000 seconds on<br>
> gc time) when the load starting to get in, CMS starts to run<br>> consectively.  The first CMS fails occur when we bump up the users to<br>> 700+, and almost kill the server.  Ever since then, I don't see the CMS<br>
> ever stops, even when the load goes down to 50 users.<br>><br>> I cut off the logs in between into 3 portion so that I can attach it.  :D<br>><br>><br>> Thanks,<br>> TK<br>><br>><br>> On 3/27/08, *Jon Masamitsu* <<a href="mailto:Jon.Masamitsu@sun.com">Jon.Masamitsu@sun.com</a><br>
</div>
<div>
<div></div>
<div class="Wj3C7c">> <mailto:<a href="mailto:Jon.Masamitsu@sun.com">Jon.Masamitsu@sun.com</a>>> wrote:<br>><br>>     Using CMS sometimes needs some tuning (especially<br>>     with the 1.4.2 jdk).  Do you have any gc logs<br>
>     (-XX:+PrintGCDetails) so we can see what's happening?<br>><br>><br>>     T.K wrote:<br>>      > Hi All,<br>>      > We got 5 Sun Web Servers running on Java 1.4.2, and used to use the<br>
>      > default GC for Tenured space. The problem with that is that it takes<br>>      > 60-80 seconds everytime the GC happens, and the latency on the<br>>     site goes<br>>      > crazy. So we decided to change it to use the Concurrent Mark Sweep<br>
>      > Collector on one server to test it out. Here's the setting:<br>>      ><br>>      > -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Xms3G -Xmx3G<br>>     -XX:NewSize=384M<br>>      > -XX:MaxNewSize=384M -XX:PermSize=64M -XX:MaxPermSize=64M<br>
>      > -XX:CMSInitiatingOccupancyFraction=60<br>>      ><br>>      > With that setting, the server runs great. But eventually, when the<br>>      > server reach a medium load (around 100-200 users), the tenured<br>
>     space is<br>>      > always around half full, and the CMS collector starts to run<br>>      > continuously one after another. It doesn't hurt the application<br>>     for now,<br>>      > but it's taking 25% of processing time (we got 4 cpu, so one web<br>
>     server<br>>      > always keep 1 cpu power). I don't see that much cpu utilization<br>>     on other<br>>      > web server that don't have CMS, and they have more users than the one<br>>      > with CMS. If we got CMS on all 5 web servers, I'm wondering if<br>
>     that will<br>>      > crash the server or not.  What should I do to decrease the processor<br>>      > utilization caused by GC?<br>>      ><br>>      > Also, I'm thinking to use i-CMS on the JVM, and maybe that might slow<br>
>      > down the CMS and reduce the amount of CPU utilization by CMS. Any<br>>     thought?<br>>      ><br>>      > Thanks,<br>>      > TK<br>>      ><br>>      ><br>>      ><br>
>     ------------------------------------------------------------------------<br>>      ><br>>      > _______________________________________________<br>>      > hotspot-gc-use mailing list<br>>      > <a href="mailto:hotspot-gc-use@openjdk.java.net">hotspot-gc-use@openjdk.java.net</a><br>
</div></div>>     <mailto:<a href="mailto:hotspot-gc-use@openjdk.java.net">hotspot-gc-use@openjdk.java.net</a>><br>
<div>
<div></div>
<div class="Wj3C7c">>      > <a href="http://mail.openjdk.java.net/mailman/listinfo/hotspot-gc-use" target="_blank">http://mail.openjdk.java.net/mailman/listinfo/hotspot-gc-use</a><br>><br>><br>><br>> ------------------------------------------------------------------------<br>
><br>> _______________________________________________<br>> hotspot-gc-use mailing list<br>> <a href="mailto:hotspot-gc-use@openjdk.java.net">hotspot-gc-use@openjdk.java.net</a><br>> <a href="http://mail.openjdk.java.net/mailman/listinfo/hotspot-gc-use" target="_blank">http://mail.openjdk.java.net/mailman/listinfo/hotspot-gc-use</a><br>
</div></div></blockquote></div><br>