Vincent, it is easy to measure.<div><br></div><div>1. Connect to NICs back-to-back.</div><div>2. Measure latency</div><div>3. Connect machines to switch</div><div>4. Measure latency</div><div>5. Subtract (2) from (4)</div>
<div><br></div><div>That is how we did it at Myricom and that is how we do it at ORNL.<div><br></div><div>Try it sometime.</div><div><br></div><div>Scott</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">
On Fri, Nov 9, 2012 at 2:36 PM, Vincent Diepeveen <span dir="ltr">&lt;<a href="mailto:diep@xs4all.nl" target="_blank">diep@xs4all.nl</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im"><br>
On Nov 9, 2012, at 7:31 PM, atchley <a href="http://tds.net" target="_blank">tds.net</a> wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Modern switches need 100-150 ns per hop.<br>
</blockquote>
<br></div>
yeah that&#39;s BS when you have software that goes measure that with all cores busy.<br>
<br>
I wrote a benchmark to measure that with all cores busy.<br>
<br>
The SGI box back then that was having 50 ns switches which would have &#39;in theory&#39; a latency of 480 ns @ 500 cpu&#39;s,<br>
so 960 for a blocked read, i couldn&#39;t get it down to less than 5.8 us on average.<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
There are some things that do not scale per hp such as traversing the PCIE link from socket to NIC and back. So, I see it as 1.2 to go to the router and back and 100 ns per hop.<br>
<br>
Scott<br>
<br>
<br>
On Fri, Nov 9, 2012 at 11:17 AM, Vincent Diepeveen &lt;<a href="mailto:diep@xs4all.nl" target="_blank">diep@xs4all.nl</a>&gt; wrote:<br>
The latency estimate taking 5 hops seems a tad optimistic to me<br>
except when i read the English wrong and they mean 1.7 microseconds a<br>
hop making it for a 5 hop 5 * 1.7 = 8.5 microseconds in total.<br>
<br>
&quot;Not every node is only one hop away, of course. On a fully<br>
configured system, you are five hopes away maximum from any socket,<br>
so there is some latency. But the delta is pretty small with<br>
Dragonfly, with a minimum of about 1.2 microseconds for a short hop,<br>
an average of 1.5 microseconds on average, and a maximum of 1.7<br>
microseconds for the five-hop jump, according to Bolding.&quot;<br>
<br>
On Nov 8, 2012, at 7:13 PM, Hearns, John wrote:<br>
<br>
&gt; Well worth a read:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; <a href="http://www.theregister.co.uk/2012/11/08/" target="_blank">http://www.theregister.co.uk/<u></u>2012/11/08/</a><br>
&gt; cray_cascade_xc30_<u></u>supercomputer/<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; John Hearns | CFD Hardware Specialist | McLaren Racing Limited<br>
&gt; McLaren Technology Centre, Chertsey Road, Woking, Surrey GU21 4YH, UK<br>
&gt;<br>
&gt;<br>
&gt; T:  +44 (0) 1483 262000<br>
&gt;<br>
&gt; D:  +44 (0) 1483 262352<br>
&gt;<br>
&gt; F:  +44 (0) 1483 261928<br>
&gt; E:  <a href="mailto:john.hearns@mclaren.com" target="_blank">john.hearns@mclaren.com</a><br>
&gt;<br>
&gt; W: <a href="http://www.mclaren.com" target="_blank">www.mclaren.com</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; The contents of this email are confidential and for the exclusive<br>
&gt; use of the intended recipient. If you receive this email in error<br>
&gt; you should not copy it, retransmit it, use it or disclose its<br>
&gt; contents but should return it to the sender immediately and delete<br>
&gt; your copy.<br>
&gt;<br>
&gt; ______________________________<u></u>_________________<br>
&gt; Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin<br>
&gt; Computing<br>
&gt; To change your subscription (digest mode or unsubscribe) visit<br>
&gt; <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/<u></u>mailman/listinfo/beowulf</a><br>
<br>
______________________________<u></u>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/<u></u>mailman/listinfo/beowulf</a><br>
<br>
</blockquote>
<br>
</div></div></blockquote></div><br></div>