<div dir="auto"><div dir="auto"><div dir="auto">Let's move on. I take these discussions as an opportunity to revisit understanding and learn new things. So I went to the beginnings, and now I have to disagree even with the claim that thread count is a cap on concurrency - certainly, not on concurrency as used in Little's law. Please, bear with me and see if it's correct.</div><div dir="auto"><div dir="auto"><br></div><div dir="auto">Suppose we have 1 thread that is able to dispose of one request in 10ms. The prediction is that concurrency won't exceed 1, right?</div><div dir="auto"><br></div><div dir="auto">Yes, N threads can't be processing more than N tasks. Yes, this is also the case, when we test in a particular way - that is, if we send requests sequentially, the next being sent only after receiving a response.</div><div dir="auto"><br></div><div dir="auto">Enter real world. All requests are independent. So if throughput is 66.667, response time in a single-threaded system above is 30ms. If we agree on this, then concurrency predicted by Little's law is 2, not capped at 1.</div><div dir="auto"><br></div><div dir="auto">More than that, it is unbounded. If throughput is 99, response time is 1s, and concurrency is 99. Knowing how response time grows, we can tell it really can be arbitrarily large for any throughput below 100 (the limit of the system).</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Alex</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 20 Jul 2022, 19:24 Alex Otenko, <<a href="mailto:oleksandr.otenko@gmail.com" target="_blank" rel="noreferrer">oleksandr.otenko@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto">To me that statement implies a few things:<div dir="auto"><br></div><div dir="auto">- that Little's law talks of thread count</div><div dir="auto"><br></div><div dir="auto">- that if thread count is low, can't have throughput advantage</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Well, I don't feel like discussing my imperfect grasp of English.<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 19 Jul 2022, 23:52 Ron Pressler, <<a href="mailto:ron.pressler@oracle.com" rel="noreferrer noreferrer" target="_blank">ron.pressler@oracle.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="word-wrap:break-word;line-break:after-white-space">
<br>
<div><br>
<blockquote type="cite">
<div>On 19 Jul 2022, at 18:38, Alex Otenko <<a href="mailto:oleksandr.otenko@gmail.com" rel="noreferrer noreferrer noreferrer" target="_blank">oleksandr.otenko@gmail.com</a>> wrote:</div>
<br>
<div>
<div dir="auto">
<div>Agreed about the architectural advantages. 
<div dir="auto"><br>
</div>
<div dir="auto">The email that triggered my rant did contain the claim that using Virtual threads has the advantage of higher concurrency.</div>
<div dir="auto"><br>
</div>
<div dir="auto">> <span style="font-size:12.8px">The throughput advantage to virtual threads comes from one aspect — their *number* — as explained by Little’s law. </span></div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
<div><br>
</div>
<div><br>
</div>
<div>Yes, and that is correct. As I explained, a higher maximum number of threads does indeed mean it is possible to reach the higher concurrency needed for higher throughput, so virtual threads, by virtue of their number, do allow for higher throughput.
 That statement is completely accurate, and yet it means something very different from (the incorrect) “increasing the number of threads increases throughput”, which is how you misinterpreted the statement.</div>
<div><br>
</div>
<div>This is similar to saying that AC allows people to live in areas with higher temperature, and that is a very different statement from saying that AC increases the temperature (althoughI guess it happens to also do that).</div>
<div><br>
</div>
<div>— Ron</div>
</div>

</blockquote></div>
</blockquote></div></div>