example_data.csv

3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;8598323200;1279532;2499;6719894;0;0;0.000000;0.000000;134;10428;168.737727;39.463957;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=185;99.000000%=387;99.500000%=411;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.321020;39.524847;140;3174400;100.000000%;2499552.634395;822870.655989;2.637065%;69.134096%;7489920;0;12283;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.21%;2.66%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;8671723520;1279035;2498;6779894;0;0;0.000000;0.000000;133;10428;168.720825;39.434866;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=415;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.304024;39.496216;140;3174400;100.000000%;2499815.822834;822674.658460;2.636133%;69.101921%;7493440;0;12418;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.22%;2.65%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;8753589248;1279784;2499;6839894;0;0;0.000000;0.000000;133;10428;168.730310;39.454861;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=415;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.313377;39.516394;140;3174400;100.000000%;2499417.487934;823449.561407;2.638418%;69.116700%;7594124;0;12553;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.22%;2.66%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;8829009920;1279586;2499;6899894;0;0;0.000000;0.000000;133;10428;168.720984;39.440526;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=415;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.304295;39.501894;140;3174400;100.000000%;2500112.565845;822560.587840;2.636780%;69.132453%;7598114;0;12688;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.22%;2.65%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;8902410240;1279101;2498;6959894;0;0;0.000000;0.000000;133;10428;168.663458;39.290132;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=411;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.245948;39.352133;140;3174400;100.000000%;2500715.528445;822759.059174;2.635169%;69.104156%;7785332;0;12688;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.24%;2.63%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;8978784768;1279048;2498;7019894;0;0;0.000000;0.000000;133;10428;168.654862;39.269094;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=411;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.236956;39.331745;140;3174400;100.000000%;2500345.981616;823255.973223;2.634627%;69.092112%;7858177;0;12823;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.24%;2.63%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;9059536384;1279614;2499;7079894;0;0;0.000000;0.000000;133;10428;168.647557;39.252279;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=411;99.900000%=544;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.229331;39.314421;140;3174400;100.000000%;2501232.382767;822118.174335;2.635590%;69.101218%;7861719;0;12957;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.24%;2.63%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;9133096960;1279164;2498;7139894;0;0;0.000000;0.000000;133;10428;168.605196;39.104726;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=411;99.900000%=536;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.187811;39.167260;140;3174400;100.000000%;2501913.221370;821699.887749;2.637420%;69.110900%;7995792;0;12957;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.27%;2.61%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;9206497280;1278699;2497;7199894;0;0;0.000000;0.000000;133;10428;168.589239;39.061360;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=411;99.900000%=536;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.172272;39.124229;140;3174400;100.000000%;2501802.602799;822462.853060;2.637011%;69.091267%;8088820;0;13092;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.27%;2.60%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%
3;fio-2.2.6-2927-g4008;file1;0;0;0;0;0;0;0;0;0.000000;0.000000;0;0;0.000000;0.000000;1.000000%=0;5.000000%=0;10.000000%=0;20.000000%=0;30.000000%=0;40.000000%=0;50.000000%=0;60.000000%=0;70.000000%=0;80.000000%=0;90.000000%=0;95.000000%=0;99.000000%=0;99.500000%=0;99.900000%=0;99.950000%=0;99.990000%=0;0%=0;0%=0;0%=0;0;0;0.000000;0.000000;0;0;0.000000%;0.000000;0.000000;9206497792;1278419;2496;7201466;0;0;0.000000;0.000000;133;10428;168.589239;39.061360;1.000000%=148;5.000000%=150;10.000000%=152;20.000000%=154;30.000000%=156;40.000000%=160;50.000000%=162;60.000000%=164;70.000000%=166;80.000000%=168;90.000000%=177;95.000000%=183;99.000000%=387;99.500000%=411;99.900000%=536;99.950000%=610;99.990000%=684;0%=0;0%=0;0%=0;143;10439;178.172272;39.124229;140;3174400;100.000000%;2501462.720924;822923.719903;2.636436%;69.076195%;8088821;0;13092;100.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.0%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;97.27%;2.60%;0.12%;0.01%;0.01%;0.01%;0.01%;0.01%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%;0.00%

processor.py

#!/usr/bin/env python3

header = "terse_version_3;fio_version;jobname;groupid;error;read_kb;read_bandwidth_kb;read_iops;read_runtime_ms;read_slat_min_us;read_slat_max_us;read_slat_mean_us;read_slat_dev_us;read_clat_min_us;read_clat_max_us;read_clat_mean_us;read_clat_dev_us;read_clat_pct01;read_clat_pct02;read_clat_pct03;read_clat_pct04;read_clat_pct05;read_clat_pct06;read_clat_pct07;read_clat_pct08;read_clat_pct09;read_clat_pct10;read_clat_pct11;read_clat_pct12;read_clat_pct13;read_clat_pct14;read_clat_pct15;read_clat_pct16;read_clat_pct17;read_clat_pct18;read_clat_pct19;read_clat_pct20;read_tlat_min_us;read_lat_max_us;read_lat_mean_us;read_lat_dev_us;read_bw_min_kb;read_bw_max_kb;read_bw_agg_pct;read_bw_mean_kb;read_bw_dev_kb;write_kb;write_bandwidth_kb;write_iops;write_runtime_ms;write_slat_min_us;write_slat_max_us;write_slat_mean_us;write_slat_dev_us;write_clat_min_us;write_clat_max_us;write_clat_mean_us;write_clat_dev_us;write_clat_pct01;write_clat_pct02;write_clat_pct03;write_clat_pct04;write_clat_pct05;write_clat_pct06;write_clat_pct07;write_clat_pct08;write_clat_pct09;write_clat_pct10;write_clat_pct11;write_clat_pct12;write_clat_pct13;write_clat_pct14;write_clat_pct15;write_clat_pct16;write_clat_pct17;write_clat_pct18;write_clat_pct19;write_clat_pct20;write_tlat_min_us;write_lat_max_us;write_lat_mean_us;write_lat_dev_us;write_bw_min_kb;write_bw_max_kb;write_bw_agg_pct;write_bw_mean_kb;write_bw_dev_kb;cpu_user;cpu_sys;cpu_csw;cpu_mjf;cpu_minf;iodepth_1;iodepth_2;iodepth_4;iodepth_8;iodepth_16;iodepth_32;iodepth_64;lat_2us;lat_4us;lat_10us;lat_20us;lat_50us;lat_100us;lat_250us;lat_500us;lat_750us;lat_1000us;lat_2ms;lat_4ms;lat_10ms;lat_20ms;lat_50ms;lat_100ms;lat_250ms;lat_500ms;lat_750ms;lat_1000ms;lat_2000ms;lat_over_2000ms"

import os

def lat_pct_into_tuple(t: tuple):
    # '99.000000%=432'
    prefix = t[0][:-5]
    pair = t[1].split('=', 1)
    suffix = '0.000' if pair[0][0] == '0' else pair[0]
    # if pair[0][0] == '0':
        # suffix = 'XXX'

    key = f'{prefix}{suffix:.5s}'
    # print(key)
    return {key: pair[1]}

results = []
with open('test.fiolog', 'rb') as f:
    f.seek(-2, os.SEEK_END)
    while f.read(1) != b'\n':
        f.seek(-2, os.SEEK_CUR)
    last_line = f.readline().decode()
    print(last_line.strip('\n').split(';'))
    results = last_line.strip('\n').split(';')

for i in zip(header.strip('\n').split(';'), results):
    if 'clat_pct' in i[0]:
        # print(i)
        print(lat_pct_into_tuple(i))