Modern switches need 100-150 ns per hop. There are some things that do not scale per hp such as traversing the PCIE link from socket to NIC and back. So, I see it as 1.2 to go to the router and back and 100 ns per hop.<div>
<br></div><div>Scott</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Nov 9, 2012 at 11:17 AM, Vincent Diepeveen <span dir="ltr">&lt;<a href="mailto:diep@xs4all.nl" target="_blank">diep@xs4all.nl</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The latency estimate taking 5 hops seems a tad optimistic to me<br>
except when i read the English wrong and they mean 1.7 microseconds a<br>
hop making it for a 5 hop 5 * 1.7 = 8.5 microseconds in total.<br>
<br>
&quot;Not every node is only one hop away, of course. On a fully<br>
configured system, you are five hopes away maximum from any socket,<br>
so there is some latency. But the delta is pretty small with<br>
Dragonfly, with a minimum of about 1.2 microseconds for a short hop,<br>
an average of 1.5 microseconds on average, and a maximum of 1.7<br>
microseconds for the five-hop jump, according to Bolding.&quot;<br>
<div><div class="h5"><br>
On Nov 8, 2012, at 7:13 PM, Hearns, John wrote:<br>
<br>
&gt; Well worth a read:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; <a href="http://www.theregister.co.uk/2012/11/08/" target="_blank">http://www.theregister.co.uk/2012/11/08/</a><br>
&gt; cray_cascade_xc30_supercomputer/<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; John Hearns | CFD Hardware Specialist | McLaren Racing Limited<br>
&gt; McLaren Technology Centre, Chertsey Road, Woking, Surrey GU21 4YH, UK<br>
&gt;<br>
&gt;<br>
&gt; T:  +44 (0) 1483 262000<br>
&gt;<br>
&gt; D:  +44 (0) 1483 262352<br>
&gt;<br>
&gt; F:  +44 (0) 1483 261928<br>
&gt; E:  <a href="mailto:john.hearns@mclaren.com">john.hearns@mclaren.com</a><br>
&gt;<br>
&gt; W: <a href="http://www.mclaren.com" target="_blank">www.mclaren.com</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; The contents of this email are confidential and for the exclusive<br>
&gt; use of the intended recipient. If you receive this email in error<br>
&gt; you should not copy it, retransmit it, use it or disclose its<br>
&gt; contents but should return it to the sender immediately and delete<br>
&gt; your copy.<br>
&gt;<br>
</div></div>&gt; _______________________________________________<br>
&gt; Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin<br>
&gt; Computing<br>
&gt; To change your subscription (digest mode or unsubscribe) visit<br>
&gt; <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</blockquote></div><br></div>