NCCL Tests on 8 node p3dn.24xlarge + EFA - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum    631.3    0.00    0.00  2e-07    632.3    0.00    0.00  0e+00
          16             4   float     sum    686.3    0.00    0.00  2e-07    631.1    0.00    0.00  2e-07
          32             8   float     sum    627.5    0.00    0.00  2e-07    628.7    0.00    0.00  2e-07
          64            16   float     sum    632.0    0.00    0.00  2e-07    629.6    0.00    0.00  1e-07
         128            32   float     sum    629.1    0.00    0.00  2e-07    628.8    0.00    0.00  2e-07
         256            64   float     sum    628.2    0.00    0.00  2e-07    628.3    0.00    0.00  2e-07
         512           128   float     sum    631.8    0.00    0.00  2e-07    628.6    0.00    0.00  2e-07
        1024           256   float     sum    634.2    0.00    0.00  1e-06    632.8    0.00    0.00  1e-06
        2048           512   float     sum    633.3    0.00    0.01  1e-06    630.2    0.00    0.01  1e-06
        4096          1024   float     sum    631.6    0.01    0.01  2e-06    628.4    0.01    0.01  2e-06
        8192          2048   float     sum    637.2    0.01    0.03  2e-06    632.9    0.01    0.03  2e-06
       16384          4096   float     sum    644.3    0.03    0.05  2e-06    644.5    0.03    0.05  2e-06
       32768          8192   float     sum    663.2    0.05    0.10  2e-06    660.3    0.05    0.10  2e-06
       65536         16384   float     sum    676.9    0.10    0.19  2e-06    675.8    0.10    0.19  2e-06
      131072         32768   float     sum    709.4    0.18    0.36  2e-06    707.1    0.19    0.36  2e-06
      262144         65536   float     sum    738.2    0.36    0.70  2e-06    741.0    0.35    0.70  2e-06
      524288        131072   float     sum    838.1    0.63    1.23  2e-06    833.4    0.63    1.24  2e-06
     1048576        262144   float     sum    987.4    1.06    2.09  2e-06    992.1    1.06    2.08  2e-06
     2097152        524288   float     sum   1262.2    1.66    3.27  2e-06   1240.8    1.69    3.33  2e-06
     4194304       1048576   float     sum   2850.1    1.47    2.90  2e-06   2839.2    1.48    2.91  2e-06
     8388608       2097152   float     sum   4182.2    2.01    3.95  2e-06   4192.1    2.00    3.94  2e-06
    16777216       4194304   float     sum   8162.7    2.06    4.05  2e-06   8187.6    2.05    4.03  2e-06
    33554432       8388608   float     sum    11974    2.80    5.52  2e-06    11971    2.80    5.52  2e-06
    67108864      16777216   float     sum    17573    3.82    7.52  2e-06    17541    3.83    7.53  2e-06
   134217728      33554432   float     sum    31964    4.20    8.27  2e-06    31966    4.20    8.27  2e-06
   268435456      67108864   float     sum    59976    4.48    8.81  2e-06    59969    4.48    8.81  2e-06
   536870912     134217728   float     sum   118650    4.52    8.91  2e-06   119071    4.51    8.88  2e-06
  1073741824     268435456   float     sum   206646    5.20   10.23  2e-06   206768    5.19   10.22  2e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 2.4357
#