Skip to content

Instantly share code, notes, and snippets.

View AnteaterKit's full-sized avatar

AnteaterKit AnteaterKit

View GitHub Profile
/**
* Индексация RAG-примеров КП в Qdrant Cloud.
* По аналогии с https://qdrant.tech/documentation/cloud-quickstart/
*/
import { QdrantClient } from "@qdrant/js-client-rest";
import { RAG_EXAMPLES } from "./docling/output/rag-examples.js";
const COLLECTION_NAME = "kp_search";
const EMBED_URL =
version: '3.8'
services:
# ────────────────────────────────────────────────
# SeaweedFS (S3-совместимый объектный storage)
# ────────────────────────────────────────────────
seaweed-master:
image: chrislusf/seaweedfs:latest
command: master -ip.bind=0.0.0.0
Hey, great to be here.
Thanks for your time. Let me briefly introduce myself.
So probably I'm best known for being the conference speaker and habr and medium writer.
In November 2025, I ran a workshop at a conference.
We built an AI agent from scratch. I chose TypeScript, not Python.
I drove to buck that trend and go with TypeScript. Frontend developers need these tools too.
About 30 people coded with me. It was a great experience.
Can you describe a typical day or week in your team?
## Установка Ollama
### Установка Ollama
1. Перейдите на сайт [ollama.com](https://ollama.com)
2. Скачайте и установите Ollama для вашей операционной системы
### Установка Ollama WebUI
1. Создайте файл `compose.yaml` в корне проекта:
# immers.cloud
immers.cloud
Работа с GPU + Ollama
Подключение ssh:
ssh -i your.pem -p 22 ubuntu@ip
# GPU
Обновите систему:
sudo apt update && sudo apt upgrade -y
@AnteaterKit
AnteaterKit / System Design для Эпохи LLM.md
Last active August 6, 2025 11:23
System Design для Эпохи LLM/AI

Помните книгу "System Design. Подготовка к сложному интервью".

Я читал издание 2022 году, за это время наши системы сильно поменялись. Прямо сейчас у нас порядка 100 инициатив-запросов от разных подразделений для внедрения в бизнес LLM, AI Agents.

Влияние ИИ, в частности LLM меняет архитектуру приложений / инфраструктуры. Нужно внедрять новые инструменты и технологии. Возможно эта книга нуждается в новой главе. Ниже мое видение нового раздела System Design для Лидера.

Ключевые знания

1. Общие сведения об LLM

services:
openWebUI:
image: ghcr.io/open-webui/open-webui:main
restart: always
ports:
- "3000:8080"
extra_hosts:
- "host.docker.internal:host-gateway"
ollama:
@AnteaterKit
AnteaterKit / gist:7587dd27d27d7202e5a310030109f894
Created June 30, 2025 17:11
Further training of the embedding model (nomic-ai/nomic-embed-text-v1.5) to improve separation of vector representations of cars of different brands using a custom loss function.
Визуализация эмбеддингов
Методы: PCA и t-SNE для снижения размерности до 2D/3D.
Библиотеки: matplotlib (статические графики), plotly (интерактивные 3D-графики).
Кастомная функция потерь BrandAwareTripletLoss
Цель: Усилить разделение между брендами.
create File:
Modelfile
Write text:
FROM ./nomic-embed-text-v1.5-finetuned-ep-137M-F16.gguf
run iin terminal
ollama create nomic-ft -f ./Modelfile
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release
python3 convert_hf_to_gguf.py ../../jupyter/modelpath \
--outtype f16 \
--model-name "model-tune-name"