EvilFreelancer

Деинсталяция ollama

Для начала выполним остановку сервиса ollama и удалим конфирацию:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

EvilFreelancer

import torch
import json
from transformers import T5ForConditionalGeneration, T5Tokenizer, BitsAndBytesConfig
from tqdm import tqdm
from bs4 import BeautifulSoup, NavigableString


# Quantization related settings
load_in_4bit = False
load_in_8bit = False

EvilFreelancer

import os
import torch
from transformers import GPT2LMHeadModel, GPT2Config, GPT2Tokenizer, pipeline

if not os.path.exists("ru_gpts"):
    raise Exception(
        "Folder `ru_gpts` not found! Please run `git clone https://github.com/EvilFreelancer/ru-gpts.git ru_gpts` first")

from ru_gpts.src.xl_wrapper import RuGPT3XL

EvilFreelancer

import requests
import json
import timeit
start = timeit.default_timer()
prompt = "С какой периодичностью происходит ледниковый период"
result = requests.post('http://localhost:11434/api/generate', json={'model': "llama3.1:70b", "options":{ "seed": 123,"num_predict":500,"temperature": 0,"num_ctx": 4000}, "keep_alive":"10m", "prompt":prompt, "stream": False}).content
a = json.loads(result)

print( a['response'])
print("Всего токенов: ",a['eval_count'])

EvilFreelancer

Локальное тестирование

Команда локального запуска:

time ./llama-cli -m /app/models/TinyLlama-1.1B-q4_0.gguf --prompt "Once upon a time" --n-predict 1024

Тестирование проводится на модели TinyLlama-1.1B-q4_0.gguf

EvilFreelancer

>>> Рассказывай что умеешь.
 Я – языковой модель, разработанный на основе большого множества данных. Я способен понимать и отвечать на естественные языки, включая английский, русский, испанский и другие. Я умею:

1. Отвечать на вопросы и заниматься диалогом о различных темах, таких как погода, политика, технологии, искусство, культура и другие.
2. Использовать свой языковой анализ для разбора и интерпретации текстов. Это может включать выделение сущетвий, предлогов, глаголов и других слов в тексте, а также определение части речи каждого слова.
3. Генерировать новое содержимое на основе данных, которые я рассматриваю. Это может включать генерацию новой информации или текста, который имеет сходство со структурой и стилем существующего контента.
4. Использовать свой языковой анализ для построения машинного обучения моделей, таких как классификаторы, регрессоры и другие алгоритмы. Это может включать предобработку данных или создание фичу-инженеренга для улучшения точности
этих алгоритмов.
5. Использовать свой язы

EvilFreelancer

0.9184  'Машинное обучение помогает создавать интеллектуальные системы.' | 'Machine learning helps to create intelligent systems.'
0.8953  'Велосипедные прогулки полезны для здоровья и экологии.' | 'Cycling is beneficial for health and the environment.'
0.9768  'Python является одним из самых популярных языков программирования в мире.' | 'Python is one of the most popular programming languages in the world.'
0.9255  'Живопись успокаивает и развивает креативность.' | 'Painting is calming and fosters creativity.'
0.9374  'Базы данных хранят и управляют большими объемами данных.' | 'Databases store and manage large volumes of data.'
0.8531  'Чтение книг обогащает словарный запас и расширяет кругозор.' | 'Reading books enriches vocabulary and broadens horizons.'
0.9541  'Алгоритмы важны для решения сложных задач в компьютерных науках.' | 'Algorithms are crucial for solving complex problems in computer science.'
0.9180  'Музыка способна влиять на настроение и эмоции человека.' | 'Music can affect a person's mood a

EvilFreelancer

TorchTune / Gemma 2B / LoRA / Single Device

Training Gemma 2B model on a single device using multiple datasets.

Prepare environment

git clone https://github.com/EvilFreelancer/torchtune.git
cd torchtune
git switch feat-concatenate-datasets

EvilFreelancer

TorchTune / Gemma 2B / LoRA / Distributed

Training Gemma 2B model on a multiple devices (1 node with 2 GPUs) using multiple datasets.

Prepare environment

git clone https://github.com/EvilFreelancer/torchtune.git
cd torchtune
git switch feat-concatenate-datasets

EvilFreelancer