GGML Vikhr7B Ollama Modelfile, https://huggingface.co/pirbis/Vikhr-7B-instruct_0.2-GGUF

Modelfile

FROM ./vikhr-7b-instruct_0.2.Q8_0.gguf

PARAMETER mirostat 0
PARAMETER mirostat_eta 0.1
PARAMETER mirostat_tau 5
PARAMETER num_ctx 2048
PARAMETER num_gqa 1
PARAMETER num_gpu 1
PARAMETER repeat_last_n 64
PARAMETER repeat_penalty 1.1
PARAMETER temperature 0.8
PARAMETER seed -1
PARAMETER tfs_z 1
PARAMETER num_predict -1
PARAMETER top_k 40
PARAMETER top_p 0.95

PARAMETER stop "</s>"

TEMPLATE """<s>system
{{ .System }}</s>
<s>user
{{ .Prompt }}</s>
bot\n"""

SYSTEM """Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь c людьми и помогаешь им.""""