NCCL Tests on 32 node p3dn.24xlarge + ethernet - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum   1790.6    0.00    0.00  1e-06   1787.9    0.00    0.00  1e-06
          16             4   float     sum   1844.8    0.00    0.00  5e-07   1798.8    0.00    0.00  5e-07
          32             8   float     sum   1789.6    0.00    0.00  1e-06   1795.4    0.00    0.00  1e-06
          64            16   float     sum   1799.5    0.00    0.00  1e-06   1801.5    0.00    0.00  1e-06
         128            32   float     sum   1816.3    0.00    0.00  1e-06   1814.9    0.00    0.00  1e-06
         256            64   float     sum   1826.6    0.00    0.00  1e-06   1883.2    0.00    0.00  1e-06
         512           128   float     sum   1591.1    0.00    0.00  1e-06   1588.9    0.00    0.00  1e-06
        1024           256   float     sum   1779.2    0.00    0.00  1e-06   1779.8    0.00    0.00  1e-06
        2048           512   float     sum   2273.3    0.00    0.00  1e-06   2277.0    0.00    0.00  1e-06
        4096          1024   float     sum   2530.9    0.00    0.00  1e-06   2528.1    0.00    0.00  1e-06
        8192          2048   float     sum   2635.5    0.00    0.01  2e-06   2624.4    0.00    0.01  2e-06
       16384          4096   float     sum   2676.8    0.01    0.01  2e-06   2675.8    0.01    0.01  2e-06
       32768          8192   float     sum   2777.8    0.01    0.02  2e-06   2776.6    0.01    0.02  2e-06
       65536         16384   float     sum   3008.8    0.02    0.04  2e-06   3017.1    0.02    0.04  2e-06
      131072         32768   float     sum   3298.3    0.04    0.08  2e-06   3301.5    0.04    0.08  2e-06
      262144         65536   float     sum   3471.5    0.08    0.15  3e-06   3476.8    0.08    0.15  3e-06
      524288        131072   float     sum   3870.6    0.14    0.27  3e-06   3866.2    0.14    0.27  3e-06
     1048576        262144   float     sum   5755.1    0.18    0.36  3e-06   5758.3    0.18    0.36  3e-06
     2097152        524288   float     sum   7372.6    0.28    0.57  3e-06   7388.6    0.28    0.57  3e-06
     4194304       1048576   float     sum    14186    0.30    0.59  3e-06    14177    0.30    0.59  3e-06
     8388608       2097152   float     sum    28347    0.30    0.59  3e-06    28346    0.30    0.59  3e-06
    16777216       4194304   float     sum    56719    0.30    0.59  3e-06    56720    0.30    0.59  3e-06
    33554432       8388608   float     sum    56692    0.59    1.18  3e-06    56693    0.59    1.18  3e-06
    67108864      16777216   float     sum   113375    0.59    1.18  3e-06   113373    0.59    1.18  3e-06
   134217728      33554432   float     sum   226736    0.59    1.18  3e-06   226735    0.59    1.18  3e-06
   268435456      67108864   float     sum   453460    0.59    1.18  3e-06   453458    0.59    1.18  3e-06
   536870912     134217728   float     sum   907944    0.59    1.18  3e-06   906922    0.59    1.18  3e-06
  1073741824     268435456   float     sum  1813905    0.59    1.18  3e-06  1813810    0.59    1.18  3e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 0.370141
#