NCCL Tests on 16 node p3dn.24xlarge + ethernet - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum    878.1    0.00    0.00  1e-06    876.8    0.00    0.00  2e-07
          16             4   float     sum    880.0    0.00    0.00  0e+00    875.6    0.00    0.00  2e-07
          32             8   float     sum    877.1    0.00    0.00  2e-07    879.3    0.00    0.00  5e-07
          64            16   float     sum    879.7    0.00    0.00  5e-07    882.2    0.00    0.00  5e-07
         128            32   float     sum    889.2    0.00    0.00  5e-07    889.8    0.00    0.00  5e-07
         256            64   float     sum    892.5    0.00    0.00  5e-07    896.4    0.00    0.00  5e-07
         512           128   float     sum    810.8    0.00    0.00  5e-07    805.6    0.00    0.00  5e-07
        1024           256   float     sum    887.5    0.00    0.00  1e-06    889.8    0.00    0.00  1e-06
        2048           512   float     sum   1137.5    0.00    0.00  1e-06   1138.4    0.00    0.00  1e-06
        4096          1024   float     sum   1266.8    0.00    0.01  1e-06   1265.8    0.00    0.01  1e-06
        8192          2048   float     sum   1321.7    0.01    0.01  1e-06   1326.1    0.01    0.01  1e-06
       16384          4096   float     sum   1394.5    0.01    0.02  2e-06   1391.1    0.01    0.02  2e-06
       32768          8192   float     sum   1519.4    0.02    0.04  2e-06   1519.0    0.02    0.04  2e-06
       65536         16384   float     sum   1665.0    0.04    0.08  2e-06   1661.7    0.04    0.08  2e-06
      131072         32768   float     sum   1752.6    0.07    0.15  2e-06   1758.0    0.07    0.15  2e-06
      262144         65536   float     sum   1982.4    0.13    0.26  2e-06   1984.4    0.13    0.26  2e-06
      524288        131072   float     sum   2777.4    0.19    0.37  2e-06   2781.6    0.19    0.37  2e-06
     1048576        262144   float     sum   5295.8    0.20    0.39  2e-06   5294.6    0.20    0.39  2e-06
     2097152        524288   float     sum    10386    0.20    0.40  2e-06    10383    0.20    0.40  2e-06
     4194304       1048576   float     sum    20652    0.20    0.40  2e-06    20640    0.20    0.40  2e-06
     8388608       2097152   float     sum    41275    0.20    0.40  2e-06    41269    0.20    0.40  2e-06
    16777216       4194304   float     sum    42640    0.39    0.78  2e-06    42463    0.40    0.78  2e-06
    33554432       8388608   float     sum    84595    0.40    0.79  2e-06    86322    0.39    0.77  2e-06
    67108864      16777216   float     sum   168335    0.40    0.79  2e-06   168387    0.40    0.79  2e-06
   134217728      33554432   float     sum   335732    0.40    0.79  2e-06   335762    0.40    0.79  2e-06
   268435456      67108864   float     sum   670316    0.40    0.79  2e-06   670237    0.40    0.79  2e-06
   536870912     134217728   float     sum  1337888    0.40    0.80  2e-06  1337881    0.40    0.80  2e-06
  1073741824     268435456   float     sum  2676432    0.40    0.80  2e-06  2676419    0.40    0.80  2e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 0.288898
#