<div dir="ltr">Faraz,<div><br></div><div>I didn't notice any tests where you actually tested the ip layer. You should run some iperf tests between nodes to make sure ipoib functions. Your infiniband/rdma can be working fine and ipoib can be dysfunctional. You need to ensure the ipoib configuration, like any ip environment, is configured the same on all nodes (network/subnet, netmask, mtu, etc) and that all of the nodes are configured for the same mode (connected vs datagram). If you can't run iperf then there is something broken in the ipoib configuration.</div><div><br></div><div>--Jeff</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Aug 3, 2017 at 8:41 AM, Faraz Hussain <span dir="ltr"><<a href="mailto:info@feacluster.com" target="_blank">info@feacluster.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks for everyone's help. Using the Ohio State tests, qperf and perfquery I am convinced the IB network is working. The only thing that still bothers me is I can not get mpirun to use the tcp network. I tried all combinations of --mca btl to no avail. It is not important, more just curiosity.<div class="HOEnZb"><div class="h5"><br>
<br>
<br>
Quoting Michael Di Domenico <<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>>:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On Thu, Aug 3, 2017 at 10:10 AM, Faraz Hussain <<a href="mailto:info@feacluster.com" target="_blank">info@feacluster.com</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Thanks, I installed the MPI tests from Ohio State. I ran osu_bw and got the<br>
results below. What is confusing is I get the same result if I use tcp or<br>
openib ( by doing --mca btl openib|tcp,self with my mpirun command ). I also<br>
tried changing the environment variable: export OMPI_MCA_btl=tcp,self,sm .<br>
Results are the same regardless of tcp or openib..<br>
<br>
And when I do ifconfig -a I still see zero traffic reported for the ib0 and<br>
ib1 network.<br>
</blockquote>
<br>
if openmpi uses RDMA for the traffic ib0/ib1 will not show traffic,<br>
you have to use perfquery<br>
______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman<wbr>/listinfo/beowulf</a><br>
</blockquote>
<br>
<br>
<br>
______________________________<wbr>_________________<br>
Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org" target="_blank">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" rel="noreferrer" target="_blank">http://www.beowulf.org/mailman<wbr>/listinfo/beowulf</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">------------------------------<br>Jeff Johnson<br>Co-Founder<br>Aeon Computing<br><br><a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a><br><a href="http://www.aeoncomputing.com" target="_blank">www.aeoncomputing.com</a><br>t: 858-412-3810 x1001   f: 858-412-3845<br>m: 619-204-9061<br><br>4170 Morena Boulevard, Suite D - San Diego, CA 92117<div><br></div><div>High-Performance Computing / Lustre Filesystems / Scale-out Storage</div></div></div>
</div>