AnteaterKit AnteaterKit

Помните книгу "System Design. Подготовка к сложному интервью".

Я читал издание 2022 году, за это время наши системы сильно поменялись. Прямо сейчас у нас порядка 100 инициатив-запросов от разных подразделений для внедрения в бизнес LLM, AI Agents.

Влияние ИИ, в частности LLM меняет архитектуру приложений / инфраструктуры. Нужно внедрять новые инструменты и технологии. Возможно эта книга нуждается в новой главе. Ниже мое видение нового раздела System Design для Лидера.

Ключевые знания

1. Общие сведения об LLM

Более удобной и актуальной версией является эта статья с использованием `traefik`

https://gist.github.com/dancheskus/365e9bc49a73908302af19882a86ce52

Certbot и nginx, как обратный прокси в Docker (пример с 2 react проектами)

В результате будет 2 react проекта на 1 сервере доступных по разным ссылкам

	# immers.cloud
	immers.cloud
	Работа с GPU + Ollama

	Подключение ssh:
	ssh -i your.pem -p 22 ubuntu@ip

	# GPU
	Обновите систему:
	sudo apt update && sudo apt upgrade -y

	services:
	openWebUI:
	image: ghcr.io/open-webui/open-webui:main
	restart: always
	ports:
	- "3000:8080"
	extra_hosts:
	- "host.docker.internal:host-gateway"

	ollama:

	Визуализация эмбеддингов

	Методы: PCA и t-SNE для снижения размерности до 2D/3D.

	Библиотеки: matplotlib (статические графики), plotly (интерактивные 3D-графики).

	Кастомная функция потерь BrandAwareTripletLoss

	Цель: Усилить разделение между брендами.

	create File:
	Modelfile

	Write text:
	FROM ./nomic-embed-text-v1.5-finetuned-ep-137M-F16.gguf

	run iin terminal
	ollama create nomic-ft -f ./Modelfile

	git clone https://github.com/ggerganov/llama.cpp
	cd llama.cpp

	cmake -B build
	cmake --build build --config Release

	python3 convert_hf_to_gguf.py ../../jupyter/modelpath \
	--outtype f16 \
	--model-name "model-tune-name"

	pip install torch torchvision torchaudio scikit-learn
	pip install nomic torch transformers sentence-transformers transformers torch nomic einops

	import torch
	from torch import nn
	from torch.utils.data import Dataset, DataLoader
	from torch.optim import AdamW
	from sentence_transformers import SentenceTransformer
	import numpy as np
	from sklearn.metrics.pairwise import cosine_similarity

	imports
	HttpModule
	BullModule.forRootAsync({
	imports: [ConfigModule],
	useFactory: async (configService: ConfigService) => {
	const connection = configService.get('redisconnection');
	return {
	connection: connection,
	}
	},