NCCL Tests on 16 node p3dn.24xlarge + EFA - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum   1238.6    0.00    0.00  1e-06   1241.8    0.00    0.00  0e+00
          16             4   float     sum   1406.9    0.00    0.00  2e-07   1246.5    0.00    0.00  2e-07
          32             8   float     sum   1235.6    0.00    0.00  2e-07   1241.7    0.00    0.00  2e-07
          64            16   float     sum   1242.5    0.00    0.00  5e-07   1244.2    0.00    0.00  5e-07
         128            32   float     sum   1248.3    0.00    0.00  5e-07   1241.6    0.00    0.00  5e-07
         256            64   float     sum   1243.4    0.00    0.00  5e-07   1244.1    0.00    0.00  5e-07
         512           128   float     sum   1239.3    0.00    0.00  5e-07   1239.8    0.00    0.00  5e-07
        1024           256   float     sum   1237.8    0.00    0.00  2e-06   1236.7    0.00    0.00  2e-06
        2048           512   float     sum   1239.8    0.00    0.00  2e-06   1243.1    0.00    0.00  2e-06
        4096          1024   float     sum   1247.6    0.00    0.01  2e-06   1251.4    0.00    0.01  2e-06
        8192          2048   float     sum   1250.0    0.01    0.01  2e-06   1248.0    0.01    0.01  2e-06
       16384          4096   float     sum   1256.0    0.01    0.03  2e-06   1260.5    0.01    0.03  2e-06
       32768          8192   float     sum   1265.8    0.03    0.05  2e-06   1277.0    0.03    0.05  2e-06
       65536         16384   float     sum   1305.1    0.05    0.10  2e-06   1300.0    0.05    0.10  2e-06
      131072         32768   float     sum   1355.1    0.10    0.19  2e-06   1357.7    0.10    0.19  2e-06
      262144         65536   float     sum   1974.8    0.13    0.26  2e-06   1977.7    0.13    0.26  2e-06
      524288        131072   float     sum   2035.5    0.26    0.51  2e-06   1975.4    0.27    0.53  2e-06
     1048576        262144   float     sum   1978.1    0.53    1.05  2e-06   1980.7    0.53    1.05  2e-06
     2097152        524288   float     sum   3327.3    0.63    1.25  2e-06   3326.4    0.63    1.25  2e-06
     4194304       1048576   float     sum   6785.0    0.62    1.23  2e-06   6781.5    0.62    1.23  2e-06
     8388608       2097152   float     sum    13264    0.63    1.25  2e-06    13266    0.63    1.25  2e-06
    16777216       4194304   float     sum    26372    0.64    1.26  2e-06    26373    0.64    1.26  2e-06
    33554432       8388608   float     sum    52702    0.64    1.26  2e-06    52698    0.64    1.26  2e-06
    67108864      16777216   float     sum    67334    1.00    1.98  2e-06    67267    1.00    1.98  2e-06
   134217728      33554432   float     sum   136522    0.98    1.95  2e-06   136472    0.98    1.95  2e-06
   268435456      67108864   float     sum   272844    0.98    1.95  2e-06   272843    0.98    1.95  2e-06
   536870912     134217728   float     sum   548432    0.98    1.94  2e-06   548428    0.98    1.94  2e-06
  1073741824     268435456   float     sum  1095344    0.98    1.95  2e-06  1095320    0.98    1.95  2e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 0.652024
#