AnteaterKit

Более удобной и актуальной версией является эта статья с использованием traefik

https://gist.github.com/dancheskus/365e9bc49a73908302af19882a86ce52

---

Certbot и nginx, как обратный прокси в Docker (пример с 2 react проектами)

В результате будет 2 react проекта на 1 сервере доступных по разным ссылкам

AnteaterKit

imports
HttpModule
BullModule.forRootAsync({
    imports: [ConfigModule],
      useFactory: async (configService: ConfigService) => {
        const connection = configService.get('redisconnection');
        return {
          connection: connection,
        }
      },

AnteaterKit

pip install torch torchvision torchaudio scikit-learn
pip install nomic torch transformers sentence-transformers transformers torch nomic einops

import torch
from torch import nn
from torch.utils.data import Dataset, DataLoader
from torch.optim import AdamW
from sentence_transformers import SentenceTransformer
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

AnteaterKit

git clone https://github.com/ggerganov/llama.cpp                           
cd llama.cpp

cmake -B build                                                             
cmake --build build --config Release

python3 convert_hf_to_gguf.py ../../jupyter/modelpath \
    --outtype f16 \
    --model-name "model-tune-name"

AnteaterKit

create File: 
Modelfile

Write text:
FROM ./nomic-embed-text-v1.5-finetuned-ep-137M-F16.gguf

run iin terminal 
ollama create nomic-ft -f ./Modelfile

AnteaterKit

Визуализация эмбеддингов

Методы: PCA и t-SNE для снижения размерности до 2D/3D.

Библиотеки: matplotlib (статические графики), plotly (интерактивные 3D-графики).

Кастомная функция потерь BrandAwareTripletLoss

Цель: Усилить разделение между брендами.

AnteaterKit

services:
  openWebUI:
    image: ghcr.io/open-webui/open-webui:main
    restart: always
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.docker.internal:host-gateway"

  ollama:

AnteaterKit

Помните книгу "System Design. Подготовка к сложному интервью".

Я читал издание 2022 году, за это время наши системы сильно поменялись. Прямо сейчас у нас порядка 100 инициатив-запросов от разных подразделений для внедрения в бизнес LLM, AI Agents.

Влияние ИИ, в частности LLM меняет архитектуру приложений / инфраструктуры. Нужно внедрять новые инструменты и технологии. Возможно эта книга нуждается в новой главе. Ниже мое видение нового раздела System Design для Лидера.

Ключевые знания

1. Общие сведения об LLM

AnteaterKit

# immers.cloud
immers.cloud
Работа с GPU + Ollama

Подключение ssh:
ssh -i your.pem -p 22 ubuntu@ip

# GPU
Обновите систему:
sudo apt update && sudo apt upgrade -y

AnteaterKit

## Установка Ollama

### Установка Ollama
1. Перейдите на сайт [ollama.com](https://ollama.com)
2. Скачайте и установите Ollama для вашей операционной системы

### Установка Ollama WebUI

1. Создайте файл `compose.yaml` в корне проекта: