MLX + MLX_VLM + Qwen2-VL-2B-Instruct-4bit で画像をVLMで解説してもらう

mlx_vlm_test.py

# /// script
# requires-python = "==3.12"
# dependencies = ["mlx==0.21.0", "mlx_vlm"]
# ///

import mlx.core as mx
import numpy as np
from mlx_vlm import load, generate
from mlx_vlm.prompt_utils import apply_chat_template
from mlx_vlm.utils import load_config

# Load the model
model_path = "mlx-community/Qwen2-VL-2B-Instruct-4bit"
model, processor = load(model_path)
config = load_config(model_path)

# Prepare input
image = ["yellow-hage.jpg"]
prompt = "Describe this image."

# Apply chat template
formatted_prompt = apply_chat_template(
    processor, config, prompt, num_images=len(image)
)

# Generate output
output = generate(model, processor, formatted_prompt, image, verbose=True, dtype=np.float32)
print(output)

https://x.com/Ohki/status/1878855383714087105

繰り返して呼ぶと中国語になりがち。
プロンプトで強制したら日本語吐けたです。

prompt = "この画像を詳細に説明してください。日本語で応答してください。"

# /// script
# requires-python = "==3.12"
# dependencies = ["mlx_vlm"]
# ///

を冒頭に追加したので、uv run mlx_vlm_test.py でいける。

640x640 リサイズ版(速くなる)

yellow-hage.jpg:

dependencies = ["mlx==0.21.0", "mlx_vlm"]

だとOK。