Skip to content

Instantly share code, notes, and snippets.

View EvilFreelancer's full-sized avatar

Pavel Zloi EvilFreelancer

View GitHub Profile
@EvilFreelancer
EvilFreelancer / evaluation.frida-gguf.ipynb
Last active May 27, 2025 11:24
FRIDA GGUF тестирование
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@EvilFreelancer
EvilFreelancer / Dockerfile
Last active April 20, 2025 12:00
LiteLLM usage (total, prompt, completion) promepteus exporter by user by llm model
FROM python:3.11-slim
WORKDIR /app
RUN pip install --no-cache-dir prometheus_client psycopg2-binary
COPY app.py .
EXPOSE 9090
CMD ["python", "app.py"]
@EvilFreelancer
EvilFreelancer / docker-compose.yml
Created March 18, 2025 10:32
Конфиг docker-compose.yml с ollama и open-webui
x-shared-logs: &shared-logs
logging:
driver: "json-file"
options:
max-size: "10k"
services:
ollama:
image: ollama/ollama:0.6.0
@EvilFreelancer
EvilFreelancer / agent loop
Created March 11, 2025 08:50 — forked from jlia0/agent loop
Manus tools and prompts
You are Manus, an AI agent created by the Manus team.
You excel at the following tasks:
1. Information gathering, fact-checking, and documentation
2. Data processing, analysis, and visualization
3. Writing multi-chapter articles and in-depth research reports
4. Creating websites, applications, and tools
5. Using programming to solve various problems beyond development
6. Various tasks that can be accomplished using computers and the internet
@EvilFreelancer
EvilFreelancer / test.py
Created February 28, 2025 08:45
Пример использования DeepSeek-R1 8B запущенной через в ollama в режиме Structured Output
import json
from openai import OpenAI
client = OpenAI(api_key="~", base_url="http://gpu02:11434/v1")
system_prompt = """\
The user will provide some examination text.
Please parse the "question" and "answer" and output them in JSON format.
OUTPUT JSON SCHEMA:
@EvilFreelancer
EvilFreelancer / transcribe_to_str.py
Created January 25, 2025 11:49
Небольшой скрипт для транскрипции аудио через whisper.cpp с чанкингом по 60 секунд
import os
import math
import srt
import fire
import requests
import subprocess
from tqdm import tqdm
from datetime import timedelta
@EvilFreelancer
EvilFreelancer / results.md
Created January 13, 2025 21:45
Предварительные тесты модели GigaChat 20B-A3B обученной в режиме o1

Почему трава зелёная? (хлорофил)

<Thought> Хорошо, мне нужно объяснить почему трава зеленая. Во-первых, давайте разберемся с основными компонентами фотосинтеза и света. Фотосинтез - это процесс, при котором растения используют свет для преобразования углекислого газа в глюкозу, которая является основным источником энергии для растений. Растения поглощают солнечный свет через хлорофилл, который представляет собой зеленый пигмент, обнаруженный в их клетках. Хлорофиллы имеют тенденцию поглощать синий и красный спектры солнечного излучения более эффективно, чем другие цвета спектра. Однако они также отражают зеленые волны обратно к нашим глазам. Это означает, что мы видим траву как зеленую из-за ее способности отражать преимущественно зеленый цвет. Кроме того, я думаю о том, насколько важен этот аспект для выживания растений. Зеленый цвет помогает им маскироваться среди окружающей среды, а также служит сигналом другим животным или насекомым об источнике пищи. Более того, некоторые виды травы могут иметь р
@EvilFreelancer
EvilFreelancer / peft_lora.txt
Created January 12, 2025 15:52
Qwen2.5 Peft
# peft_model = AutoPeftModelForCausalLM.from_pretrained(output_dir, device_map={"": "cpu"}).to("cpu")
# print(peft_model)
PeftModelForCausalLM(
(base_model): LoraModel(
(model): Qwen2ForCausalLM(
(model): Qwen2Model(
(embed_tokens): Embedding(151665, 3584, padding_idx=151643)
(layers): ModuleList(
(0-27): 28 x Qwen2DecoderLayer(
(self_attn): Qwen2SdpaAttention(
@EvilFreelancer
EvilFreelancer / math-500-en-source.jsonl
Created January 3, 2025 13:38
Сравнение качества перевода через HuggingFaceH4/MATH-500 через utrobinmv/t5_translate_en_ru_zh_large_1024 и qwen2.5:32b
{"problem": "Convert the point $(0,3)$ in rectangular coordinates to polar coordinates. Enter your answer in the form $(r,\\theta),$ where $r > 0$ and $0 \\le \\theta < 2 \\pi.$", "solution": "We have that $r = \\sqrt{0^2 + 3^2} = 3.$ Also, if we draw the line connecting the origin and $(0,3),$ this line makes an angle of $\\frac{\\pi}{2}$ with the positive $x$-axis.\n\n[asy]\nunitsize(0.8 cm);\n\ndraw((-0.5,0)--(3.5,0));\ndraw((0,-0.5)--(0,3.5));\ndraw(arc((0,0),3,0,90),red,Arrow(6));\n\ndot((0,3), red);\nlabel(\"$(0,3)$\", (0,3), W);\ndot((3,0), red);\n[/asy]\n\nTherefore, the polar coordinates are $\\boxed{\\left( 3, \\frac{\\pi}{2} \\right)}.$", "answer": "\\left( 3, \\frac{\\pi}{2} \\right)", "subject": "Precalculus", "level": 2, "unique_id": "test/precalculus/807.json"}
{"problem": "Define\n\\[p = \\sum_{k = 1}^\\infty \\frac{1}{k^2} \\quad \\text{and} \\quad q = \\sum_{k = 1}^\\infty \\frac{1}{k^3}.\\]Find a way to write\n\\[\\sum_{j = 1}^\\infty \\sum_{k = 1}^\\infty \\frac{1}{(j + k)^3}\\]in terms
@EvilFreelancer
EvilFreelancer / qwq-32b-thinking.md
Last active November 28, 2024 12:07
Star Attention - Phase 1: Context Encoding (создано с помощью qwq:32b)

USER

Напиши код на python который бы реализовывал этот алгоритм:

Algorithm 1 Star Attention - Phase 1: Context Encoding
1:Context c, Block size b
2:L←length⁢(c)
3:Split c into n=⌈L/b⌉ blocks, such that c=\[c1,c2,…,cn\] ▷ Each block has upto b tokens
4:for i=2 to n do
5: ci′←(c1,ci) ▷ Each block ci is prefixed with anchor block c1