[Beowulf] Varying performance across identical cluster nodes.

Christopher Samuel samuel at unimelb.edu.au
Wed Sep 13 17:21:19 PDT 2017


On 14/09/17 03:48, Prentice Bisbal wrote:

> What software configuration, either a kernel a parameter, configuration
> of numad or cpuspeed, or some other setting, could affect this?

Hmm, how about diff'ing "sysctl -a" between the systems too?

Does one load new CPU microcode in whereas another doesn't?

Still curious to know if there are any major differences between dmesg
between the boxes.

For monitoring CPU settings I tend to use "cpupower monitor", here's an
example from one of our SandyBridge boxes.

# cpupower monitor
              |Nehalem                    || SandyBridge        || Mperf
PKG |CORE|CPU | C3   | C6   | PC3  | PC6  || C7   | PC2  | PC7  || C0   | Cx   | Freq
   0|   0|   0|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3100
   0|   1|   1|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3100
   0|   2|   2|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3099
   0|   3|   3|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3100
   0|   4|   4|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3100
   0|   5|   5|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100
   0|   6|   6|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3100
   0|   7|   7|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.98|  0.02|  3100
   1|   0|   8|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100
   1|   1|   9|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100
   1|   2|  10|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100
   1|   3|  11|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3099
   1|   4|  12|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100
   1|   5|  13|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100
   1|   6|  14|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3099
   1|   7|  15|  0.00|  0.00|  0.00|  0.00||  0.00|  0.00|  0.00|| 99.99|  0.01|  3100

...and for a Haswell box:

[root at snowy001 ~]# cpupower monitor
              |Nehalem                    || Mperf
PKG |CORE|CPU | C3   | C6   | PC3  | PC6  || C0   | Cx   | Freq
   0|   0|   0|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   1|   1|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   2|   2|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   3|   3|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   4|   4|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   5|   5|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   6|   6|  0.00|  0.00|  0.00|  0.00|| 99.95|  0.05|  2503
   0|   7|   7|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   8|   8|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|   9|   9|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|  10|  10|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|  11|  11|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|  12|  12|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|  13|  13|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|  14|  14|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   0|  15|  15|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|   0|  16|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|   1|  17|  0.00|  0.00|  0.00|  0.00|| 99.58|  0.42|  2503
   1|   2|  18|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|   3|  19|  0.00|  0.00|  0.00|  0.00|| 99.58|  0.42|  2503
   1|   4|  20|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|   5|  21|  0.00|  0.00|  0.00|  0.00|| 99.57|  0.43|  2503
   1|   6|  22|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|   7|  23|  0.00|  0.00|  0.00|  0.00|| 99.57|  0.43|  2503
   1|   8|  24|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|   9|  25|  0.00|  0.00|  0.00|  0.00|| 99.58|  0.42|  2503
   1|  10|  26|  0.00|  0.00|  0.00|  0.00|| 99.95|  0.05|  2503
   1|  11|  27|  0.00|  0.00|  0.00|  0.00|| 99.58|  0.42|  2503
   1|  12|  28|  0.00|  0.00|  0.00|  0.00|| 99.95|  0.05|  2503
   1|  13|  29|  0.00|  0.00|  0.00|  0.00|| 99.57|  0.43|  2503
   1|  14|  30|  0.00|  0.00|  0.00|  0.00|| 99.94|  0.06|  2503
   1|  15|  31|  0.00|  0.00|  0.00|  0.00|| 99.58|  0.42|  2503


cheers,
Chris
-- 
 Christopher Samuel        Senior Systems Administrator
 Melbourne Bioinformatics - The University of Melbourne
 Email: samuel at unimelb.edu.au Phone: +61 (0)3 903 55545



More information about the Beowulf mailing list