<br><div class="gmail_extra"><br><br><div class="gmail_quote">2012/11/12 Vincent Diepeveen <span dir="ltr">&lt;<a href="mailto:diep@xs4all.nl" target="_blank">diep@xs4all.nl</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Problem is not the infiniband NIC&#39;s. </blockquote><div><br></div><div>Yes it is. You have to flash the device firmware in order for the BIOS to recognize it as a bootable device.</div><div><br></div><div>Yes your a bit screwed for booting over IB but booting over 1GE is perfectly acceptable. 1GE bit rate is not 1000 miles away for a single disk drive performance anyway. (100MB/s or so). A lot of the clusters I have put together were 1GE connected for boot and management.</div>
<div><br></div><div>Typically not very much is written to the local disk once the node has booted anyway. A few logs here and there. As you have an IB connection you dont have to worry about it.</div><div><br></div><div>You might want to consider iSCSI. This is supported by the open gPXE project. You can set up a LUN per server.</div>
<div><br></div><div>Ta</div><div><br></div><div>Andrew</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">You need a motherboard with a<br>

bios fixed to boot infiniband over PXE, that&#39;s all.<br>
So you need to contact Supermicro to fix the bios if it doesn&#39;t boot<br>
them, if they would be willing to do that.<br>
<br>
On Nov 12, 2012, at 1:56 PM, Duke Nguyen wrote:<br>
<br>
&gt; On 11/12/12 7:05 PM, Vincent Diepeveen wrote:<br>
&gt;&gt; You can boot over PXE using normal network cables and boot over<br>
&gt;&gt; the gigabit ethernet using a cheap ethernet<br>
&gt;&gt; router.<br>
&gt;<br>
&gt; Thanks Vincent. Yes we gonna try that with a gigabyte hub. Just<br>
&gt; wonder anyone has other experience, for example PXE Boot on this<br>
&gt; link <a href="http://ulm.ccc.de/hg/pxeboot/raw-annotate/8c54643186a9/src/" target="_blank">http://ulm.ccc.de/hg/pxeboot/raw-annotate/8c54643186a9/src/</a><br>
&gt; drivers/net/mlx_ipoib/doc/README.boot_over_ib. This PXEBoot lists<br>
&gt; our cards as supported.<br>
&gt;<br>
&gt; D.<br>
<div class="HOEnZb"><div class="h5">&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Nov 12, 2012, at 12:33 PM, Duke Nguyen wrote:<br>
&gt;&gt;<br>
&gt;&gt;&gt; Hi folks,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; We are still on the way of building our first small-cluster.<br>
&gt;&gt;&gt; Right now<br>
&gt;&gt;&gt; we have 16 diskless nodes 8GB RAM on X7DWT-INF and a master also on<br>
&gt;&gt;&gt; X7DWT-INF with 120GB disk and 16GB RAM. These boards (X7DWT-INF) has<br>
&gt;&gt;&gt; built-in Infiniband Card (Infiniband MT25204 20Gbps Controller),<br>
&gt;&gt;&gt; and I<br>
&gt;&gt;&gt; hoped that we can create a boot server on the master node for the 16<br>
&gt;&gt;&gt; clients using IB connection.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Unfortunately after reading, I found out that our built-card is<br>
&gt;&gt;&gt; too old<br>
&gt;&gt;&gt; for Mellanox FlexBoot:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; $ lspci -v | grep Mellanox<br>
&gt;&gt;&gt; 08:00.0 InfiniBand: Mellanox Technologies MT25204 [InfiniHost III Lx<br>
&gt;&gt;&gt; HCA] (rev 20)<br>
&gt;&gt;&gt;      Subsystem: Mellanox Technologies MT25204 [InfiniHost III Lx<br>
&gt;&gt;&gt; HCA]<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; whereas FlexBoot requires at least Connect2X-3X to work with.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; My questions are:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;   * any body using the same (or similar main boards) and was able to<br>
&gt;&gt;&gt; boot using PXE?<br>
&gt;&gt;&gt;   * if PXE server with Infiniband is impossible, then it is OK<br>
&gt;&gt;&gt; with a<br>
&gt;&gt;&gt; gigabyte connection? Or should we go for 16 disks for these 16<br>
&gt;&gt;&gt; clients<br>
&gt;&gt;&gt; and dont care much on boot over IB or IP? (more money, of course)<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Thanks,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; D.<br>
&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin<br>
&gt;&gt;&gt; Computing<br>
&gt;&gt;&gt; To change your subscription (digest mode or unsubscribe) visit<br>
&gt;&gt;&gt; <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
<br>
_______________________________________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
</div></div></blockquote></div><br></div>