Skip to content

Instantly share code, notes, and snippets.

@pashu123

pashu123/faulty.mlir

Created January 31, 2025 13:44
Show Gist options
  • Save pashu123/95fc62b5fd3dd9649a2309db2b0a1fae to your computer and use it in GitHub Desktop.
Save pashu123/95fc62b5fd3dd9649a2309db2b0a1fae to your computer and use it in GitHub Desktop.
Download ZIP
Raw
faulty.mlir
module {
func.func @faulty(%arg0: !torch.vtensor<[32,4096],bf16>, %arg1: !torch.vtensor<[4096,4096],bf16>) -> !torch.vtensor<[32,4096],bf16> {
%int26 = torch.constant.int 26
%int15 = torch.constant.int 15
%0 = torch.prims.convert_element_type %arg0, %int26 : !torch.vtensor<[32,4096],bf16>, !torch.int -> !torch.vtensor<[32,4096],f8E4M3FNUZ>
%1 = torch.prims.convert_element_type %arg1, %int26 : !torch.vtensor<[4096,4096],bf16>, !torch.int -> !torch.vtensor<[4096,4096],f8E4M3FNUZ>
%2 = torch.aten.mm %0, %1 : !torch.vtensor<[32,4096],f8E4M3FNUZ>, !torch.vtensor<[4096,4096],f8E4M3FNUZ> -> !torch.vtensor<[32,4096],f8E4M3FNUZ>
%3 = torch.prims.convert_element_type %2, %int15 : !torch.vtensor<[32,4096],f8E4M3FNUZ>, !torch.int -> !torch.vtensor<[32,4096],bf16>
return %3 : !torch.vtensor<[32,4096],bf16>
}
}
@AmosLewis
Copy link 

iree-compile faulty.mlir  --iree-hip-target=gfx942  --iree-hal-target-device=hip   --iree-dispatch-creation-enable-aggressive-fusion=true   --iree-global-opt-propagate-transposes=true   --iree-opt-aggressively-propagate-transposes=true   --iree-opt-data-tiling=false   --iree-preprocessing-pass-pipeline='builtin.module(util.func(iree-preprocessing-generalize-linalg-matmul-experimental))'   --iree-hal-indirect-command-buffers=true   --iree-stream-resource-memory-model=discrete   --iree-hal-memoization=true   --iree-opt-strip-assertions -o=init.vmfb

iree-run-module --hip_use_streams=true --device=hip://0 --function=faulty --module=init.vmfb [email protected] [email protected]
EXEC @faulty
result[0]: hal.buffer_view
32x4096xbf16=[-112 240 NAN NAN NAN 128 -15 -144 NAN NAN NAN -112 -160 -224 NAN 72 NAN 26 NAN NAN NAN 40 -32 NAN -160 6 88 NAN NAN NAN NAN NAN NAN NAN NAN NAN 72 -208 NAN NAN -28 26 NAN NAN NAN NAN -72 120 NAN -88 NAN -12 -72 NAN NAN -26 NAN -144 -128 NAN -18 13 NAN -56 NAN 128 -208 NAN -28 -64 13 16 -4.5 -176 NAN NAN 4.5 NAN 36 NAN -30 -72 NAN 28 -40 -192 8 NAN NAN NAN NAN NAN NAN 22 -176 NAN NAN NAN NAN -44 NAN 22 160 -208 NAN 64 44 NAN -104 NAN 60 NAN NAN NAN NAN NAN NAN NAN NAN NAN NAN NAN NAN NAN NAN -52 NAN 104 NAN -240 NAN -36 NAN NAN -104 NAN -104 NAN -64 NAN NAN 64 -208 -10 NAN NAN 208 NAN 88 48 1 NAN -224 NAN 56 -48 -104 -160 NAN -11 -240 NAN NAN -88 NAN -192 NAN NAN NAN -11 NAN -7 -80 NAN NAN 22 -14 56 -192 NAN NAN 160 NAN NAN 120 NAN NAN -44 NAN NAN NAN 36 -22 NAN 22 144 -36 -72 NAN NAN 20 NAN -26 NAN NAN NAN 10 NAN NAN NAN NAN NAN NAN NAN NAN -56 NAN NAN -2.25 -6.5 NAN 52 144 NAN -88 NAN 208 NAN NAN NAN -30 88 NAN -144 NAN -30 128 NAN NAN NAN -14 -7 -40 NAN -64 -80 NAN 240 176 13 NAN NAN 104 NAN NAN NAN NAN NAN 176 NAN NAN NAN NAN NAN NAN NAN NAN 4 NAN NAN -56 144 NAN -20 -32 NAN -160 24 NAN -9 0.40625 240 -208 NAN NAN -30 -5 -64 -40 -72 NAN NAN NAN NAN 36 -4 NAN NAN NAN NAN 6.5 NAN 60 NAN -48 240 NAN 104 7.5 NAN -3.25 -96 NAN -112 NAN NAN -12 -104 -144 48 NAN NAN NAN NAN 80 NAN 144 NAN 240 NAN NAN NAN 26 -22 NAN NAN 176 -52 -32 NAN NAN -60 32 NAN 10 NAN NAN NAN NAN NAN NAN -30 NAN 1.25 -40 NAN NAN NAN 104 -128 -176 104 -72 NAN -88 192 -26 64 NAN NAN NAN NAN NAN 11 NAN NAN 44 NAN 96 18 -20 NAN 36 NAN NAN 32 2.5 NAN NAN NAN NAN -22 -80 NAN NAN NAN -52 NAN -2 192 -40 208 40 NAN NAN NAN 128 NAN NAN NAN NAN NAN NAN 36 56 18 NAN NAN -48 NAN 160 NAN NAN NAN NAN NAN NAN NAN -240 NAN 192 NAN NAN 16 NAN NAN -20 NAN 224 -60 -18 60 -22 -224 NAN NAN -5.5 -6.5 -88 44 224 NAN NAN NAN NAN NAN NAN -128 NAN -30 22 NAN 7 52 -36 NAN NAN 44 NAN 160 NAN -20 -192 NAN NAN 240 NAN NAN 15 NAN NAN -64 NAN NAN NAN NAN -1 -16 -16 NAN 112 NAN -160 52 NAN NAN NAN NAN -56 NAN 240 22 NAN NAN 28 NAN NAN NAN -26 -240 NAN NAN NAN NAN 208 NAN -104 192 56 NAN 120 NAN NAN -72 -7 NAN NAN NAN NAN NAN NAN 22 NAN NAN 96 NAN -2 72 -72 NAN -14 NAN -16 NAN -30 NAN 2 NAN -10 0.34375 NAN NAN NAN NAN 192 104 -26 NAN NAN NAN NAN NAN -26 NAN NAN NAN NAN 44 NAN NAN 26 NAN 192 NAN NAN -2.25 NAN -32 192 104 NAN NAN NAN NAN -160 NAN NAN -240 NAN NAN NAN NAN 18 104 NAN NAN NAN NAN NAN NAN NAN 12 -160 NAN NAN 128 NAN NAN NAN 20 NAN 120 NAN -80 NAN NAN -64 32 -12 NAN NAN 40 NAN NAN NAN NAN NAN 16 -128 -72 208 144 NAN -88 240 NAN NAN -224 NAN NAN 72 5 NAN 48 16 192 -192 NAN NAN NAN NAN 128 -7.5 NAN NAN NAN 56 NAN 60 NAN NAN -52 -120 NAN NAN -60 NAN -240 NAN 128 88 -4 18 NAN -18 NAN -224 NAN -14 2 -128 -0.15625 -160 -208 NAN NAN NAN 120 -1.25 NAN -12 -96 5 36 NAN 128 NAN -36 NAN NAN 36 48 NAN -4.5 44 -72 30 NAN NAN NAN 36 NAN -192 NAN NAN NAN NAN 20 NAN 176 112 NAN -88 -9 NAN NAN NAN NAN 48 NAN -72 26 NAN -144 40 NAN 52 -18 NAN -128 -32 NAN -44 -48 NAN NAN -22 -44 -208 NAN NAN NAN NAN -128 0.46875 32 -4.5 30 NAN -208 NAN NAN 32 NAN NAN NAN NAN NAN -44 -224 NAN NAN -20 NAN -5 NAN NAN -60 36 104 NAN NAN NAN 48 -72 -18 0.9375 NAN -128 NAN NAN NAN 44 NAN -120 NAN 5.5 -160 -88 NAN -6.5 NAN -18 NAN -80 NAN 240 48 NAN -88 NAN NAN NAN 192 NAN -104 NAN 44 -16 14 56 11 NAN -48 -72 -20 -6.5 NAN 224 NAN NAN NAN 176 NAN -44 NAN -120 NAN NAN NAN -72 NAN -16 NAN NAN NAN NAN -2.75 -18 -22 NAN NAN NAN NAN NAN NAN 128 -10 NAN 80 NAN NAN NAN NAN -32 NAN NAN NAN -30 NAN NAN 32 -9 NAN NAN NAN 2.75 -120 NAN NAN NAN 20 NAN 24 NAN -80 NAN NAN -160 NAN -26 NAN NAN -104 -48 1.375 192 -5.5 NAN NAN 160 NAN NAN NAN 88 -0.40625 -176 -160 NAN 40 -22 NAN NAN NAN -40 -20 NAN NAN 18 NAN 18 -208 -14 -32 NAN NAN -10 60 NAN NAN NAN 36 NAN NAN 32 NAN NAN 176 -176 NAN NAN NAN -40 NAN NAN NAN 160 NAN NAN -26 -5.5 -96 NAN NAN NAN NAN NAN 20 NAN NAN 15 NAN NAN NAN -48 -0.9375 NAN NAN NAN -112 NAN -24 NAN -0.875 NAN NAN NAN 240 8 80 120 -8 8 52 NAN -44 -88 -104 NAN NAN 40 NAN -40 -4 -10 -60 18 NAN NAN NAN -18 NAN NAN NAN NAN NAN NAN 40 -7 -112 NAN -36 NAN NAN -20 NAN NAN -64 -28 NAN 64 NAN NAN NAN...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...][...]

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment