<br><br><div class="gmail_quote">On Thu, Dec 8, 2011 at 2:41 AM, Dang Nhan Nguyen <span dir="ltr"><<a href="mailto:nhann@chalmers.se">nhann@chalmers.se</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">






<div link="blue" vlink="purple" lang="EN-US">
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">Hi,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">Thank you for your update.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">I apply CR is 7112034 and also try with -XX:+ParallelRefProcEnabled:<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif""><u></u> <u></u></span></p>
<p style="margin-left:.5in">
<u></u><span style="font-size:10.0pt"><span>-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">While applying CR is 7112034, CMS still leaves about the same number of objects/ref marked for the remark phase comparing to before applying the CR. Which means the
 CR make no (or little) change to the number of references  processed during the concurrent marking phase. How can this be explained?</span></p></div></div></blockquote><div><br>Actually, prior to the fix for 7112034, there would be potentially fewer Reference objects identified for later processing (a step known as discovery).<br>
Following 7112034, there would be potentially more, as some objects not discovered before the fix would be discovered now. <br></div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div link="blue" vlink="purple" lang="EN-US"><div><p style="margin-left:0.5in"><span style="font-size:10pt;font-family:"Arial","sans-serif""><u></u><u></u></span></p>
<p style="margin-left:.5in">
<u></u><span style="font-size:10.0pt"><span>-<span style="font:7.0pt "Times New Roman"">   
</span></span></span><u></u><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">When I use -XX:+ParallelRefProcEnabled, performance is worse than not using this option. So, when I enable this, how many threads were used for this reference processing
 (in a ratio of ParallelGCThreads and ConcGCThreads)?</span></p></div></div></blockquote><div><br>This is the strange part, and to me does not make sense. How id you determine that (1) there were lots of Reference objects (2) that a lot<br>
of time was spent in Reference processing during remark? If you run with -XX:+PrintGCDetails -XX:+PrintReferenceGC for both the<br>cases (with and withouyt -XX:+ParallelRefProcEnabled), we would know what the relative numbers/times looked like and perhaps<br>
get closer to what the issue might be here. <br></div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div>
<p style="margin-left:0.5in"><span style="font-size:10pt;font-family:"Arial","sans-serif""><u></u><u></u></span></p>
<p style="margin-left:.5in"><span style="font-size:10.0pt;font-family:"Arial","sans-serif""><u></u> <u></u></span></p>
<p><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">From further information, in one application, 100k-200k references were left to the remark phase, and in  another they are 1.5m references.</span></p>
</div></div></blockquote><div><br>May be this is the natural behaviour of your application? One thing we have found to help is if we mak good use of<br>the survivor spaces, then sometimes these probles will go away because Reference objects get processed<br>
as they become eligible for processing in the young generation (therefore during minor GC's) and thus do not<br>impose a large monolithic overhead during the less frequent major collections.<br><br>-- ramki <br></div>
<blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div><p><span style="font-size:10pt;font-family:"Arial","sans-serif""><u></u><u></u></span></p>

<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif""><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">Best,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Arial","sans-serif"">-Nhan<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Srinivas Ramakrishna [mailto:<a href="mailto:ysr1729@gmail.com" target="_blank">ysr1729@gmail.com</a>]
<br>
<b>Sent:</b> Thursday, December 08, 2011 2:44 AM<br>
<b>To:</b> Dang Nhan Nguyen<br>
<b>Cc:</b> <a href="mailto:hotspot-gc-dev@openjdk.java.net" target="_blank">hotspot-gc-dev@openjdk.java.net</a><br>
<b>Subject:</b> Re: Strange GC behaviour,<u></u><u></u></span></p>
</div>
</div><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:12.0pt">Hi Nhan --<br>
<br>
Make sure you have the recent fix to Reference object processing when doing<br>
MT/Parallel marking with CMS; i don't have the CR handy, but the fix was pushed by<br>
Stefan not long ago. (The workaround was to disable parallel concurrent marking via<br>
-XX:-CMSConcurrentMTEnabled -- but of course the performance impact of that,<br>
depending on yr platform, might compromise yr benchmarking results.)<br>
<br>
More inline below:-<u></u><u></u></p>
<div>
<p class="MsoNormal">On Wed, Dec 7, 2011 at 2:20 PM, Dang Nhan Nguyen <<a href="mailto:nhann@chalmers.se" target="_blank">nhann@chalmers.se</a>> wrote:<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">Hi guys,
<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">I am benchmarking CMS collector and found it strange that there are many objects left in remark phase.<u></u><u></u></span></p>

</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">When I check the issue again by only running foreground CMS (I changed the source code a bit to force CMS running in foreground), so there is no promotion during
 collecting  (so no objects marked during Preclean and Abortable Preclean phase). Even in this case, I found that there are still many objects left in remark phase (in lusearch and tomcat in Dacapo benchmark, they are 10 times and 1/3 of number of objects marked
 in concmarking phase, while in suflow, they are just about 100 objects/refs). Most (maybe ALL) of these objects marked in remark phase were processed by refProcessingWork(). In turn, this refProcessingWork() run in single thread mode. The performance was reduced
 a lot because of this.<u></u><u></u></span></p>
</div>
</div>
</div>
<div>
<p class="MsoNormal"><br>
-XX:+ParallelRefProcEnabled uses multiple threads to do that phase.<br>
 <u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">My questions are:<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">1. What kinds of references were processed by refProcessingWork()? weak and soft ref? what are exactly they are?<u></u><u></u></span></p>

</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal"><br>
all objects of type java.lang.ref.Reference (includes WeakReferencem=, SoftReference, FinalReference, PhantomReference).<br>
 <u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">2. While I only run CMS in stop-the-world, why are there still many objects left to be processed by remark, in particular here is refProcessingWork()? Why aren't
 these references/objects processed in concurrent marking phase?<u></u><u></u></span></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br>
I am not sure I understand the question. What do you mean by "run CMS in stop-the-world"? Note that Reference objects are processed<br>
by all kinds of collectors, young gen (minor) or whole heap (major), stop-world or concurrent. The volume of those objects may<br>
vary a bit between them based on the heap size, NewRatio etc.<br>
 <br>
hope that helped.<br>
-- ramki<u></u><u></u></p>
</div>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black"><u></u> <u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">Best,<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif";color:black">-Nhan Nguyen<u></u><u></u></span></p>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div></div></div>
</div>
</div>

</blockquote></div><br>