NCCL Tests on 32 node p3dn.24xlarge + EFA - all_reduce_perf -b 8 -e 1G -f 2 -g 1 -c 1 -n 100

gistfile1.txt

#
#                                                     out-of-place                       in-place
#       size         count    type   redop     time   algbw   busbw  error     time   algbw   busbw  error
#        (B)    (elements)                     (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
           8             2   float     sum   2460.5    0.00    0.00  1e-06   2458.0    0.00    0.00  5e-07
          16             4   float     sum   2457.7    0.00    0.00  5e-07   2467.2    0.00    0.00  5e-07
          32             8   float     sum   2466.2    0.00    0.00  5e-07   2466.3    0.00    0.00  5e-07
          64            16   float     sum   2459.3    0.00    0.00  1e-06   2460.7    0.00    0.00  1e-06
         128            32   float     sum   2457.8    0.00    0.00  1e-06   2456.7    0.00    0.00  1e-06
         256            64   float     sum   2453.9    0.00    0.00  1e-06   2457.4    0.00    0.00  1e-06
         512           128   float     sum   2461.0    0.00    0.00  1e-06   2459.9    0.00    0.00  1e-06
        1024           256   float     sum   2456.9    0.00    0.00  1e-06   2469.1    0.00    0.00  1e-06
        2048           512   float     sum   2474.0    0.00    0.00  1e-06   2463.7    0.00    0.00  1e-06
        4096          1024   float     sum   2467.2    0.00    0.00  1e-06   2468.6    0.00    0.00  1e-06
        8192          2048   float     sum   2468.5    0.00    0.01  2e-06   2471.5    0.00    0.01  2e-06
       16384          4096   float     sum   2481.6    0.01    0.01  2e-06   2480.6    0.01    0.01  2e-06
       32768          8192   float     sum   2560.0    0.01    0.03  2e-06   2499.6    0.01    0.03  2e-06
       65536         16384   float     sum   2544.4    0.03    0.05  2e-06   2539.3    0.03    0.05  2e-06
      131072         32768   float     sum   2599.3    0.05    0.10  3e-06   2603.7    0.05    0.10  3e-06
      262144         65536   float     sum   2719.5    0.10    0.19  3e-06   2649.6    0.10    0.20  3e-06
      524288        131072   float     sum   2753.7    0.19    0.38  3e-06   2756.0    0.19    0.38  3e-06
     1048576        262144   float     sum   2884.7    0.36    0.72  3e-06   2892.1    0.36    0.72  3e-06
     2097152        524288   float     sum   3261.9    0.64    1.28  3e-06   3249.2    0.65    1.29  3e-06
     4194304       1048576   float     sum   4067.7    1.03    2.05  3e-06   4018.7    1.04    2.08  3e-06
     8388608       2097152   float     sum   4803.9    1.75    3.48  3e-06   4791.1    1.75    3.49  3e-06
    16777216       4194304   float     sum    11412    1.47    2.93  3e-06    11384    1.47    2.94  3e-06
    33554432       8388608   float     sum    17148    1.96    3.90  3e-06    17072    1.97    3.92  3e-06
    67108864      16777216   float     sum    33843    1.98    3.95  3e-06    34005    1.97    3.93  3e-06
   134217728      33554432   float     sum    48632    2.76    5.50  3e-06    48668    2.76    5.49  3e-06
   268435456      67108864   float     sum    70950    3.78    7.54  3e-06    70964    3.78    7.54  3e-06
   536870912     134217728   float     sum   129259    4.15    8.27  3e-06   129201    4.16    8.28  3e-06
  1073741824     268435456   float     sum   241100    4.45    8.87  3e-06   241565    4.44    8.86  3e-06
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 1.76026
#