gistfile1.txt

Processed prompts: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:05<00:00,  5.77s/it, est. speed input: 1.39 toks/s, output: 177.49 toks/s]
1
Processed prompts: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:05<00:00,  5.57s/it, est. speed input: 2.16 toks/s, output: 183.93 toks/s]
4
Processed prompts: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:05<00:00,  1.44s/it, est. speed input: 8.35 toks/s, output: 518.36 toks/s]
8
Processed prompts: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:06<00:00,  1.33it/s, est. speed input: 18.29 toks/s, output: 1052.92 toks/s]
16
Processed prompts: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:06<00:00,  2.33it/s, est. speed input: 29.96 toks/s, output: 2159.73 toks/s]
32
Processed prompts: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [00:08<00:00,  3.95it/s, est. speed input: 49.37 toks/s, output: 2847.25 toks/s]
64
Processed prompts: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 64/64 [00:12<00:00,  5.26it/s, est. speed input: 67.19 toks/s, output: 4128.98 toks/s]
128
Processed prompts: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████| 128/128 [00:20<00:00,  6.13it/s, est. speed input: 77.88 toks/s, output: 5046.57 toks/s]