NCCL Tests on 16 node p3dn.24xlarge + efa - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum   1247.4    0.00    0.00  1e-06   1239.1    0.00    0.00  0e+00
          16             4   float     sum   1239.1    0.00    0.00  2e-07   1239.6    0.00    0.00  2e-07
          32             8   float     sum   1242.5    0.00    0.00  2e-07   1241.4    0.00    0.00  2e-07
          64            16   float     sum   1237.8    0.00    0.00  5e-07   1240.8    0.00    0.00  5e-07
         128            32   float     sum   1240.6    0.00    0.00  5e-07   1238.0    0.00    0.00  5e-07
         256            64   float     sum   1238.2    0.00    0.00  5e-07   1237.4    0.00    0.00  5e-07
         512           128   float     sum   1239.8    0.00    0.00  5e-07   1240.8    0.00    0.00  5e-07
        1024           256   float     sum   1236.4    0.00    0.00  2e-06   1243.7    0.00    0.00  2e-06
        2048           512   float     sum   1254.1    0.00    0.00  2e-06   1242.6    0.00    0.00  2e-06
        4096          1024   float     sum   1248.9    0.00    0.01  2e-06   1247.5    0.00    0.01  2e-06
        8192          2048   float     sum   1250.0    0.01    0.01  2e-06   1248.6    0.01    0.01  2e-06
       16384          4096   float     sum   1264.4    0.01    0.03  2e-06   1263.8    0.01    0.03  2e-06
       32768          8192   float     sum   1293.1    0.03    0.05  2e-06   1278.6    0.03    0.05  2e-06
       65536         16384   float     sum   1315.4    0.05    0.10  2e-06   1317.7    0.05    0.10  2e-06
      131072         32768   float     sum   1346.5    0.10    0.19  2e-06   1341.1    0.10    0.19  2e-06
      262144         65536   float     sum   1423.6    0.18    0.37  2e-06   1412.1    0.19    0.37  2e-06
      524288        131072   float     sum   1475.5    0.36    0.71  2e-06   1469.6    0.36    0.71  2e-06
     1048576        262144   float     sum   1663.1    0.63    1.25  2e-06   1659.0    0.63    1.25  2e-06
     2097152        524288   float     sum   2061.8    1.02    2.02  2e-06   2157.7    0.97    1.93  2e-06
     4194304       1048576   float     sum   2402.5    1.75    3.46  2e-06   2421.7    1.73    3.44  2e-06
     8388608       2097152   float     sum   5958.9    1.41    2.79  2e-06   6008.5    1.40    2.77  2e-06
    16777216       4194304   float     sum   8509.0    1.97    3.91  2e-06   8546.2    1.96    3.90  2e-06
    33554432       8388608   float     sum    16774    2.00    3.97  2e-06    16733    2.01    3.98  2e-06
    67108864      16777216   float     sum    24193    2.77    5.50  2e-06    24141    2.78    5.52  2e-06
   134217728      33554432   float     sum    35111    3.82    7.59  2e-06    35045    3.83    7.60  2e-06
   268435456      67108864   float     sum    64176    4.18    8.30  2e-06    64175    4.18    8.30  2e-06
   536870912     134217728   float     sum   120914    4.44    8.81  2e-06   120954    4.44    8.81  2e-06
  1073741824     268435456   float     sum   236501    4.54    9.01  2e-06   236582    4.54    9.01  2e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 2.07236
#