<table cellspacing="0" cellpadding="0" border="0" ><tr><td valign="top" style="font: inherit;">To further complicate issue, if latency is the key driving factor for older hardware, I think that the chips with the Infinipath/Pathscale lineage tend to have lower latencies than the Mellanox Inifinihost line. &nbsp;<div><br></div><div>When in the DDR time frame, I measured Infinipath ping-pong latencies 3-4x better than that of DDR Mellanox silicon. &nbsp;Of course, the Infinipath silicon will require different kernel drivers than those from Mellanox (ipath versus mthca). &nbsp;These were QLogic specific HCA's and not the rebranded Silverstorm HCA's sold by QLogic. &nbsp;(Confused yet?) &nbsp;I believe that the model number was QLogic 7240 for the DDR version and QLogic 7140 for the SDR one.</div><div><br></div><div>Joseph</div><div><br></div><div><br><br><blockquote style="border-left: 2px solid rgb(16, 16, 255); margin-left: 5px; padding-left: 5px;"><div
 class="plainMail">Message: 2<br>Date: Mon, 07 Nov 2011 14:21:51 -0600<br>From: Greg Keller &lt;<a ymailto="mailto:Greg@Keller.net" href="/mc/compose?to=Greg@Keller.net">Greg@Keller.net</a>&gt;<br>Subject: Re: [Beowulf] building Infiniband 4x cluster questions<br>To: <a ymailto="mailto:beowulf@beowulf.org" href="/mc/compose?to=beowulf@beowulf.org">beowulf@beowulf.org</a><br>Message-ID: &lt;<a ymailto="mailto:4EB83DDF.5020902@Keller.net" href="/mc/compose?to=4EB83DDF.5020902@Keller.net">4EB83DDF.5020902@Keller.net</a>&gt;<br>Content-Type: text/plain; charset=ISO-8859-1; format=flowed<br><br><br>&gt; Date: Mon, 07 Nov 2011 13:16:00 -0500<br>&gt; From: Prentice Bisbal&lt;<a ymailto="mailto:prentice@ias.edu" href="/mc/compose?to=prentice@ias.edu">prentice@ias.edu</a>&gt;<br>&gt; Subject: Re: [Beowulf] building Infiniband 4x cluster questions<br>&gt; Cc: Beowulf Mailing List&lt;<a ymailto="mailto:beowulf@beowulf.org"
 href="/mc/compose?to=beowulf@beowulf.org">beowulf@beowulf.org</a>&gt;<br>&gt; Message-ID:&lt;<a ymailto="mailto:4EB82060.3050300@ias.edu" href="/mc/compose?to=4EB82060.3050300@ias.edu">4EB82060.3050300@ias.edu</a>&gt;<br>&gt; Content-Type: text/plain; charset=ISO-8859-1<br>&gt;<br>&gt; Vincent,<br>&gt;<br>&gt; Don't forget that between SDR and QDR, there is DDR.&nbsp; If SDR is too<br>&gt; slow, and QDR is too expensive, DDR might be just right.<br>And for DDR a key thing is, when latency matters, "ConnectX" DDR is much <br>better than the earlier "Infinihost III" DDR cards.&nbsp; We have 100's of <br>each and the ConnectX make a large impact for some codes.&nbsp; Although <br>nearly antique now, we actually have plans for the ConnectX cards in yet <br>another round of updated systems.&nbsp; This is the 3rd Generation system I <br>have been able to re-use the cards in (Harperton, Nehalem, and now <br>Single Socket Sandy Bridge), which makes me very
 happy.&nbsp; A great <br>investment that will likely live until PCI-Gen3 slots are the norm.<br>--<br>Da Bears?!<br><br>&gt; --<br>&gt; Goldilocks<br>&gt;<br>&gt;<br>&gt; On 11/07/2011 11:58 AM, Vincent Diepeveen wrote:<br>&gt;&gt; &gt;&nbsp; hi Prentice,<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; I had noticed the diff between SDR up to QDR,<br>&gt;&gt; &gt;&nbsp; the SDR cards are affordable, the QDR isn't.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; The SDR's are all $50-$75 on ebay now. The QDR's i didn't find cheap<br>&gt;&gt; &gt;&nbsp; prices in that pricerange yet.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; If i would want to build a network that's low latency and had a budget<br>&gt;&gt; &gt;&nbsp; of $800 or so a node of course i would<br>&gt;&gt; &gt;&nbsp; build a dolphin SCI network, as that's probably the fastest latency<br>&gt;&gt; &gt;&nbsp; card sold for a $675 or so a piece.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; I do not really see a rival
 latency wise to Dolphin there. I bet most<br>&gt;&gt; &gt;&nbsp; manufacturers selling clusters don't use<br>&gt;&gt; &gt;&nbsp; it as they can make $100 more profit or so selling other networking<br>&gt;&gt; &gt;&nbsp; stuff, and universities usually swallow that.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; So price total dominates the network. As it seems now infiniband 4x is<br>&gt;&gt; &gt;&nbsp; not going to offer enough performance.<br>&gt;&gt; &gt;&nbsp; The one-way pingpong latencies over a switch that i see of it, are not<br>&gt;&gt; &gt;&nbsp; very convincing. I see remote writes to RAM<br>&gt;&gt; &gt;&nbsp; are like nearly 10 microseconds for 4x infiniband and that card is the<br>&gt;&gt; &gt;&nbsp; only one affordable.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; The old QM400's i have here are one-way pingpong 2.1 us or so, and<br>&gt;&gt; &gt;&nbsp; QM500-B's are plentyful on the net (of course big disadvantage: needs<br>&gt;&gt; &gt;&nbsp;
 pci-x),<br>&gt;&gt; &gt;&nbsp; which are a 1.3 us or so there and have SHMEM. Not seeing a cheap<br>&gt;&gt; &gt;&nbsp; switch for the QM500's though nor cables.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; You see price really dominates everything here. Small cheap nodes you<br>&gt;&gt; &gt;&nbsp; cannot build if the port price, thanks to expensive network card,<br>&gt;&gt; &gt;&nbsp; more than doubles.<br>&gt;&gt; &gt;<br>&gt;&gt; &gt;&nbsp; Power is not the real concern for now - if a factory already burns a<br>&gt;&gt; &gt;&nbsp; couple of hundreds of megawatts, a small cluster somewhere on the<br>&gt;&gt; &gt;&nbsp; attick eating<br>&gt;&gt; &gt;&nbsp; a few kilowatts is not really a problem:)<br>&gt;&gt; &gt;<br><br><br><br></div></blockquote></div></td></tr></table>