minimax 2.7, sglang, amd mi300x

gistfile1.txt

docker run -it \
--name sglang \
--cap-add=SYS_ADMIN \
--security-opt seccomp=unconfined \
--device=/dev/kfd \
--device=/dev/dri \
--group-add video \
--network=host \
--ipc=host \
--privileged \
--shm-size 64G \
-v /data:/data \
-v /data/.cache:/root/.cache \
lmsysorg/sglang:v0.5.10.post1-rocm720-mi30x

SGLANG_USE_AITER=1 \
USE_ROCM_AITER_ROPE_BACKEND=0 \
sglang serve \
  --port 8000 \
  --model-path MiniMaxAI/MiniMax-M2.7 \
  --tp 4 \
  --ep 4 \
  --tool-call-parser minimax-m2 \
  --reasoning-parser minimax-append-think \
  --trust-remote-code \
  --mem-fraction-static 0.85 \
  --kv-cache-dtype fp8_e4m3 \
  --attention-backend triton