I believe rh6.5 will give great results. We faced many issues with rh6.1 and 6.2, Redhat advice us to move to the new release. Sometime you need check the scheduler configuration too. The final thing I suggest, MPI code optimization.<span></span><br>
<br>On Thursday, April 24, 2014, Brian Dobbins <<a href="mailto:bdobbins@gmail.com">bdobbins@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><div><br></div>Hi John,<br><br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I am with Joe regarding looking at the interrupts.</div>

</blockquote><div><br></div><div>  That was one of my initial thoughts, too, but I haven't really dug into their states yet.  I'm going to start keeping an eye on them now.<br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr"><div>However, could this be a difference with the power management with the Redhat kernel?</div><div>ie. when running on 8 cores you are tripping over some thermal threshold and causing a throttle back to a lower C-state?</div>

</div></blockquote><div><br></div><div>  This is something I hadn't thought of but which makes a lot of sense, and in my reply to Joe, you'll see we've got a power-saving state selected for the PCIe ASPM.  I'm going to see if our guys can turn that off and whether that helps, and I'll poke around some of the other tunable power options soon, too.  I don't have root access and sit more on the application side so I'm a bit rusty on all the buttons and dials, but I'll investigate a bit and report back what I find.<br>

</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">

<div>Can you give the kernel versions for both setups?</div></div></blockquote><div><br></div><div>  The C5.5 kernel is 2.6.18-194<br></div><div>  The R6.2 kernel is 2.6.32-220<br><br></div><div>  There's a few more kernels in the mix now, but I'd like to check out a few other things before I add to the confusion.  ;-)<br>

<br></div><div>  Thanks again,<br></div><div>  - Brian<br><br></div><br></div></div></div>
</blockquote><br><br>-- <br><div dir="ltr">--------------------------<br>Cheers!<br>Dodi<br><br><div>Linkedin: <a href="http://goo.gl/3eJ9UI" target="_blank">http://goo.gl/3eJ9UI</a><div><div>In business do not look for credits, look for innovation!</div>
</div></div></div><br>