Alexander Chumakov delfer

Keybase proof

I hereby claim:

I am delfer on github.
I am delfer (https://keybase.io/delfer) on keybase.
I have a public key whose fingerprint is 109A 00E9 5EF2 D4EA D4F7 B024 F104 0F92 D9FC 0510

To claim this, I am signing this object:

Как работает вывод LLM с помощью llama.cpp

Опубликовано:11 ноября 2023 г. | в 16:00 (34 минуты чтения)

В этой статье мы рассмотрим внутреннюю структуру больших языковых моделей (БЯМ), чтобы получить практическое представление о том, как они работают. Для этого мы будем использовать исходный код llama.cpp, реализацию модели LLaMA от Meta на чистом C++. Лично я считаю, что llama.cpp — отличное учебное пособие для более глубокого понимания БЯМ. Его код чистый, лаконичный и понятный, без лишних абстракций. Мы будем использовать эту версию коммита.

	# Do not alter the commented lines
	# They are used by wireguard-install
	# ENDPOINT 123.32.1.123

	[Interface]
	Address = 10.7.0.1/24
	PrivateKey = 6BHdTUCKVScVazHW7hlWHG02HP58qVbdS5UZ/UgZrHU=
	#ListenPort = Commented line
	ListenPort = 51820
	## One more comment for Address = PrivateKey = ListenPort =

	#!/bin/bash
	PRINTER_IP={IP}
	API=https://api.telegram.org/bot{TOKEN}
	CHAT={CHAT}

	STATE_FILE=/run/3d-printer-sate.mon
	MESSAGE_ID_FILE=/run/3d-printer-msg-id.mon

	# Status table
	STATE_OFFLINE=f

	# Tested on:
	# - Ubuntu 20.04 LTS
	# - Ubuntu 22.04.2 LTS
	#
	# Tested with https://github.com/Jigsaw-Code/outline-server/commit/9a3498112d5f7c59f7017e1666678e2921fad46f from May 16 2024
	# Install prerequirements
	# 7zip to extract zip
	apt install p7zip-full
	# task to run app
	sh -c "$(curl --location https://taskfile.dev/install.sh)" -- -d -b /usr/local/bin

	import sys
	import os
	import base64
	from PIL import Image
	import textract
	import litellm
	import csv
	import io
	from PyPDF2 import PdfReader

	// Make sure you can use the ESP32 with the Arduino IDE (Installed esp32 by Espressif in Board Manager).
	// Install Lib https://github.com/delfer/ESP32-BLE-Keyboard
	// Download the latest release of this library from the release page (Source code (zip)).
	// In the Arduino IDE go to "Sketch" -> "Include Library" -> "Add .ZIP Library..." and select the file you just downloaded.

	//#define DEBUG_MODE // Uncomment to disable debug output

	#ifdef DEBUG_MODE
	#define DEBUG_PRINTF(...) Serial.printf(__VA_ARGS__)
	#else

	0 12 * * * find ~/tmp/1day -mtime +1 -exec rm -rf {} \;
	0 13 * * * find ~/tmp/7days -mtime +7 -exec rm -rf {} \;