Skip to content

Instantly share code, notes, and snippets.

@sshleifer

sshleifer/fp8x-fp8w-TP1-EP1.csv

Created October 12, 2025 23:45
Show Gist options
  • Save sshleifer/469562fb1110c9873fa92bdc02ca0481 to your computer and use it in GitHub Desktop.
Save sshleifer/469562fb1110c9873fa92bdc02ca0481 to your computer and use it in GitHub Desktop.
Download ZIP
Triton MLP Benchmark Results - Performance CSV Data
Raw
fp8x-fp8w-TP1-EP1.csv
x flops bytes time_ns
4 5114953728000 628139622400 232007176
5 6393692160000 638294016000 232144744
6 7672430592000 638491852800 233451474
7 8951169024000 638691328000 232587758
8 10229907456000 638897356800 233382414
10 12787384320000 639193088000 560200719
12 15344861184000 639600230400 448748726
14 17902338048000 640007372800 559791534
16 20459814912000 640414515200 553054977
20 25574768640000 641228800000 98227219
24 30689722368000 642043084800 100834975
28 35804676096000 642857369600 99106841
32 40919629824000 643671654400 101265213
40 51149537280000 645300224000 100573954
48 61379444736000 646928793600 103369119
56 71609352192000 648557363200 103392780
64 81839259648000 650185932800 111609460
80 102299074560000 653443072000 107124144
96 122758889472000 656700211200 109310367
112 143218704384000 659957350400 110089268
128 163678519296000 663214489600 122603850
160 204598149120000 669728768000 147386318
192 245517778944000 676243046400 147930820
224 286437408768000 682757324800 156412256
256 327357038592000 689271603200 182026446
288 368276668416000 695785881600 203887462
320 409196298240000 702300160000 212654690
352 450115928064000 708814438400 220219485
384 491035557888000 715328716800 245594792
416 531955187712000 721842995200 262327031
448 572874817536000 728357273600 266670838
480 613794447360000 734871552000 279098611
512 654714077184000 741385830400 300096728
544 695633707008000 747900108800 323456311
576 736553336832000 754414387200 331024312
608 777472966656000 760928665600 384913849
640 818392596480000 767442944000 626377721
672 859312226304000 773957222400 552921179
704 900231856128000 780471500800 661310253
736 941151485952000 786985779200 573201238
768 982071115776000 793500057600 692315796
800 1022990745600000 800014336000 633300745
832 1063910375424000 806528614400 715743389
864 1104830005248000 813042892800 717929520
896 1145749635072000 819557171200 745282654
928 1186669264896000 826071449600 699633331
960 1227588894720000 832585728000 769091465
992 1268508524544000 839100006400 718490769
Raw
fp8x-mx4w-TP1-EP1.csv
x flops bytes time_ns
4 5114953728000 323642982400 59985186
5 6393692160000 331585536000 61911332
6 7672430592000 331783372800 61849626
7 8951169024000 331982848000 61677000
8 10229907456000 329608396800 61420633
10 12787384320000 332484608000 64925204
12 15344861184000 332891750400 64365811
14 17902338048000 333298892800 65304015
16 20459814912000 333706035200 65573288
20 25574768640000 334520320000 66363740
24 30689722368000 335334604800 67634812
28 35804676096000 336148889600 67477889
32 40919629824000 336963174400 67276292
40 51149537280000 338591744000 67971082
48 61379444736000 340220313600 69257155
56 71609352192000 341848883200 72922675
64 81839259648000 343477452800 82259366
80 102299074560000 346734592000 81216862
96 122758889472000 349991731200 82274084
112 143218704384000 353248870400 87500667
128 163678519296000 356506009600 102568926
160 204598149120000 363020288000 129207235
192 245517778944000 369534566400 132673113
224 286437408768000 376048844800 135401152
256 327357038592000 382563123200 160648259
288 368276668416000 389077401600 181566658
320 409196298240000 395591680000 191346602
352 450115928064000 402105958400 197075751
384 491035557888000 408620236800 215836674
416 531955187712000 415134515200 234690246
448 572874817536000 421648793600 240988220
480 613794447360000 428163072000 254727477
512 654714077184000 434677350400 271668022
544 695633707008000 441191628800 292636681
576 736553336832000 447705907200 301964273
608 777472966656000 454220185600 311921598
640 818392596480000 460734464000 333729612
672 859312226304000 467248742400 418070209
704 900231856128000 473763020800 512303787
736 941151485952000 480277299200 625358605
768 982071115776000 486791577600 653425160
800 1022990745600000 493305856000 567118508
832 1063910375424000 499820134400 676656983
864 1104830005248000 506334412800 694964009
896 1145749635072000 512848691200 607173288
928 1186669264896000 519362969600 712629258
960 1227588894720000 525877248000 728496282
992 1268508524544000 532391526400 664230124
Raw
fp8x-mx4w-TP2-EP1.csv
x flops bytes time_ns
4 2566914048000 163505766400 34452187
5 3208642560000 166250496000 33100439
6 3850371072000 166411468800 35112454
7 4492099584000 166574080000 34887330
8 5133828096000 166743244800 34723941
10 6417285120000 166965248000 37639899
12 7700742144000 167298662400 37677318
14 8984199168000 167632076800 37489350
16 10267656192000 167965491200 37704273
20 12834570240000 168632320000 39145102
24 15401484288000 169299148800 39153002
28 17968398336000 169965977600 38503908
32 20535312384000 170632806400 39365427
40 25669140480000 171966464000 39750798
48 30802968576000 173300121600 39812501
56 35936796672000 174633779200 42758861
64 41070624768000 175967436800 48923287
80 51338280960000 178634752000 49154118
96 61605937152000 181302067200 50437146
112 71873593344000 183969382400 53139507
128 82141249536000 186636697600 62708455
160 102676561920000 191971328000 78365105
192 123211874304000 197305958400 80148954
224 143747186688000 202640588800 82667275
256 164282499072000 207975219200 95706398
288 184817811456000 213309849600 108012001
320 205353123840000 218644480000 114225068
352 225888436224000 223979110400 117607159
384 246423748608000 229313740800 130362689
416 266959060992000 234648371200 140471617
448 287494373376000 239983001600 147117123
480 308029685760000 245317632000 154609653
512 328564998144000 250652262400 163563150
544 349100310528000 255986892800 175572371
576 369635622912000 261321523200 180926362
608 390170935296000 266656153600 185060396
640 410706247680000 271990784000 197774296
672 431241560064000 277325414400 205940264
704 451776872448000 282660044800 215359214
736 472312184832000 287994675200 220916557
768 492847497216000 293329305600 232555647
800 513382809600000 298663936000 238600000
832 533918121984000 303998566400 246429676
864 554453434368000 309333196800 257264431
896 574988746752000 314667827200 263944379
928 595524059136000 320002457600 274962317
960 616059371520000 325337088000 283671639
992 636594683904000 330671718400 287657553
Raw
fp8x-mx4w-TP4-EP1.csv
x flops bytes time_ns
4 1292894208000 82146918400 18311952
5 1616117760000 83582976000 19193919
6 1939341312000 83725516800 19272685
7 2262564864000 83869696000 19290995
8 2585788416000 84020428800 19329615
10 3232235520000 84205568000 21834435
12 3878682624000 84502118400 21755071
14 4525129728000 84798668800 22129065
16 5171576832000 85095219200 22203516
20 6464471040000 85688320000 23483264
24 7757365248000 86281420800 23495287
28 9050259456000 86874521600 23597088
32 10343153664000 87467622400 23610791
40 12928942080000 88653824000 24132102
48 15514730496000 89840025600 24464128
56 18100518912000 91026227200 25696322
64 20686307328000 92212428800 29336174
80 25857884160000 94584832000 31766786
96 31029460992000 96957235200 32450184
112 36201037824000 99329638400 33258981
128 41372614656000 101702041600 38882346
160 51715768320000 106446848000 50233926
192 62058921984000 111191654400 51820014
224 72402075648000 115936460800 52630109
256 82745229312000 120681267200 61648413
288 93088382976000 125426073600 66460594
320 103431536640000 130170880000 72239010
352 113774690304000 134915686400 74637058
384 124117843968000 139660492800 83073600
416 134460997632000 144405299200 88338212
448 144804151296000 149150105600 91929674
480 155147304960000 153894912000 95996613
512 165490458624000 158639718400 101566342
544 175833612288000 163384524800 109724760
576 186176765952000 168129331200 112785918
608 196519919616000 172874137600 115660266
640 206863073280000 177618944000 123424552
672 217206226944000 182363750400 128111956
704 227549380608000 187108556800 134366922
736 237892534272000 191853363200 138921577
768 248235687936000 196598169600 145732910
800 258578841600000 201342976000 149598641
832 268921995264000 206087782400 154144641
864 279265148928000 210832588800 160852316
896 289608302592000 215577395200 164454986
928 299951456256000 220322201600 173424890
960 310294609920000 225067008000 176407019
992 320637763584000 229811814400 182070637
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment