<div><br></div>Hey Stuart,<div><br></div><div>Thanks for your answer ...<br><div><br></div><div>That sounds compelling.  May I ask a few more questions?</div><div><br></div><div>So should I assume that this was a threaded SMP type application</div>
<div>(OpenMP, pthreads) or it is MPI based? Is the supporting CPU of the</div><div>multi-core Sandy Bridge vintage? Have you been able to compare</div><div>the hyper-threaded, multi-core scaling on that Sandy Bridge side of the</div>
<div>system with that on the Phi (fewer cores to compare of course).  Using the</div><div>Intel compilers I assume ... how well do your kernels vectorize?  Curious</div><div>about the observed benefits of hyper-threading, which generally offers</div>
<div>little to floating-point intensive HPC computations where functional unit</div><div>collision is an issue.  You said you have 2 Phis per node.  Were you </div><div>running a single job across both?  Were the Phis in separate PCIE</div>
<div>slots or on the same card (sorry I should know this, but I have just</div><div>started looking at Phi).  If they are on separate cards in separate</div><div>slots can I assume that I am limited to MPI parallel implementations</div>
<div>when using both.</div><div><br></div><div>Maybe that is more than a few questions ... ;-) ...</div><div><br></div><div>Regards,</div><div><br></div><div>Richard Walsh</div><div>Thrashing River Consulting</div><div><br>
<div class="gmail_quote">On Tue, Feb 12, 2013 at 10:46 AM, Dr Stuart Midgley <span dir="ltr">&lt;<a href="mailto:sdm900@gmail.com" target="_blank">sdm900@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
It was simple really.  Within 1hr, I had recompiled a large amount of our codes to run on the phi&#39;s and then ssh&#39;ed to the Phi and ran them… Saw that a single phi was faster than our current 4 socket AMD 6276 (64 cores) and then ordered machines with 2 phi&#39;s in them :)<br>

<br>
I didn&#39;t bother with any of the compiler directives etc… just treated them like a 240core (hyper threaded) computer… and saw great scaling.<br>
<div class="im HOEnZb"><br>
<br>
--<br>
Dr Stuart Midgley<br>
<a href="mailto:sdm900@sdm900.com">sdm900@sdm900.com</a><br>
<br>
<br>
<br>
<br>
</div><div class="HOEnZb"><div class="h5">On 12/02/2013, at 11:12 PM, Richard Walsh &lt;<a href="mailto:rbwcnslt@gmail.com">rbwcnslt@gmail.com</a>&gt; wrote:<br>
<br>
&gt;<br>
&gt; Hey Stuart,<br>
&gt;<br>
&gt; I am interested in what sold you on the Phi.  My cursory look<br>
&gt; suggested that using the Phi in Intel&#39;s offload mode (which<br>
&gt; preserves the scalar performance) was not much easier to<br>
&gt; program than writing in CUDA ... and that using the Phi as<br>
&gt; a standalone processor while a programming convenience<br>
&gt; suffers on scalar code.  Even that programming convenience<br>
&gt; is limited by the fact that you have to think both in terms of<br>
&gt; vectors and threads.<br>
&gt;<br>
&gt; Also, the speed ups I have seen generally seem modest,<br>
&gt; understanding that GPU performance hype is exaggerated.<br>
&gt;<br>
&gt; Hearing what you like would be interesting.<br>
&gt;<br>
&gt; Thanks,<br>
&gt;<br>
&gt;<br>
&gt; Richard Walsh<br>
&gt; Thrashing River Consulting<br>
&gt;<br>
&gt; On Tue, Feb 12, 2013 at 10:02 AM, Dr Stuart Midgley &lt;<a href="mailto:sdm900@gmail.com">sdm900@gmail.com</a>&gt; wrote:<br>
&gt; I&#39;ve started a blog to document the process I&#39;m going through to get our Phi&#39;s going.<br>
&gt;<br>
&gt;     <a href="http://phi-musings.blogspot.com.au" target="_blank">http://phi-musings.blogspot.com.au</a><br>
&gt;<br>
&gt; Its very sparse at the moment, but will get filled in a lot over the next day or so… I&#39;ve finally got them booting.<br>
&gt;<br>
&gt; FYI we currently have 100 co-processors and should have the next 160 or so in a few weeks.<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Dr Stuart Midgley<br>
&gt; <a href="mailto:sdm900@sdm900.com">sdm900@sdm900.com</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Beowulf mailing list, <a href="mailto:Beowulf@beowulf.org">Beowulf@beowulf.org</a> sponsored by Penguin Computing<br>
&gt; To change your subscription (digest mode or unsubscribe) visit <a href="http://www.beowulf.org/mailman/listinfo/beowulf" target="_blank">http://www.beowulf.org/mailman/listinfo/beowulf</a><br>
&gt;<br>
<br>
</div></div></blockquote></div><br></div></div>