NCCL Tests on 4 node p3dn.24xlarge + ethernet - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum    218.6    0.00    0.00  2e-07    217.6    0.00    0.00  2e-07
          16             4   float     sum    218.3    0.00    0.00  0e+00    218.7    0.00    0.00  1e-07
          32             8   float     sum    217.1    0.00    0.00  1e-07    216.9    0.00    0.00  2e-07
          64            16   float     sum    218.6    0.00    0.00  2e-07    217.6    0.00    0.00  2e-07
         128            32   float     sum    220.0    0.00    0.00  2e-07    220.9    0.00    0.00  2e-07
         256            64   float     sum    223.9    0.00    0.00  2e-07    222.9    0.00    0.00  2e-07
         512           128   float     sum    209.7    0.00    0.00  2e-07    209.7    0.00    0.00  1e-07
        1024           256   float     sum    236.8    0.00    0.01  5e-07    236.8    0.00    0.01  5e-07
        2048           512   float     sum    300.2    0.01    0.01  5e-07    298.2    0.01    0.01  5e-07
        4096          1024   float     sum    336.4    0.01    0.02  7e-07    337.7    0.01    0.02  7e-07
        8192          2048   float     sum    381.3    0.02    0.04  7e-07    384.0    0.02    0.04  7e-07
       16384          4096   float     sum    416.7    0.04    0.08  1e-06    418.4    0.04    0.08  1e-06
       32768          8192   float     sum    439.8    0.07    0.14  1e-06    441.4    0.07    0.14  1e-06
       65536         16384   float     sum    489.3    0.13    0.26  1e-06    488.9    0.13    0.26  1e-06
      131072         32768   float     sum    701.0    0.19    0.36  1e-06    704.0    0.19    0.36  1e-06
      262144         65536   float     sum    816.4    0.32    0.62  1e-06    820.7    0.32    0.62  1e-06
      524288        131072   float     sum   1131.0    0.46    0.90  1e-06   1130.8    0.46    0.90  1e-06
     1048576        262144   float     sum   1720.7    0.61    1.18  1e-06   1720.6    0.61    1.18  1e-06
     2097152        524288   float     sum   3450.0    0.61    1.18  1e-06   3449.4    0.61    1.18  1e-06
     4194304       1048576   float     sum   3443.4    1.22    2.36  1e-06   3449.3    1.22    2.36  1e-06
     8388608       2097152   float     sum   6898.0    1.22    2.36  1e-06   6897.0    1.22    2.36  1e-06
    16777216       4194304   float     sum    13795    1.22    2.36  1e-06    13847    1.21    2.35  1e-06
    33554432       8388608   float     sum    27591    1.22    2.36  1e-06    27620    1.21    2.35  1e-06
    67108864      16777216   float     sum    55182    1.22    2.36  1e-06    55183    1.22    2.36  1e-06
   134217728      33554432   float     sum   110366    1.22    2.36  1e-06   110365    1.22    2.36  1e-06
   268435456      67108864   float     sum   220785    1.22    2.36  1e-06   220731    1.22    2.36  1e-06
   536870912     134217728   float     sum   441516    1.22    2.36  1e-06   441470    1.22    2.36  1e-06
  1073741824     268435456   float     sum   883030    1.22    2.36  1e-06   882979    1.22    2.36  1e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 0.929146
#