delfer

Как работает вывод LLM с помощью llama.cpp

Опубликовано:11 ноября 2023 г. | в 16:00 (34 минуты чтения)

•     llm
•     ИИ
•     llama
•     llm-внутренние компоненты

В этой статье мы рассмотрим внутреннюю структуру больших языковых моделей (БЯМ), чтобы получить практическое представление о том, как они работают. Для этого мы будем использовать исходный код llama.cpp, реализацию модели LLaMA от Meta на чистом C++. Лично я считаю, что llama.cpp — отличное учебное пособие для более глубокого понимания БЯМ. Его код чистый, лаконичный и понятный, без лишних абстракций. Мы будем использовать эту версию коммита.

delfer

Keybase proof

I hereby claim:

• I am delfer on github.
• I am delfer (https://keybase.io/delfer) on keybase.
• I have a public key whose fingerprint is 109A 00E9 5EF2 D4EA D4F7 B024 F104 0F92 D9FC 0510

To claim this, I am signing this object:

delfer

import sys
import os
import base64
from PIL import Image
import textract
import litellm
import csv
import io
from PyPDF2 import PdfReader

delfer

# Tested on:
# - Ubuntu 20.04 LTS
# - Ubuntu 22.04.2 LTS
#
# Tested with https://github.com/Jigsaw-Code/outline-server/commit/9a3498112d5f7c59f7017e1666678e2921fad46f from May 16 2024
# Install prerequirements
# 7zip to extract zip
apt install p7zip-full
# task to run app
sh -c "$(curl --location https://taskfile.dev/install.sh)" -- -d -b /usr/local/bin

delfer

#!/bin/bash
PRINTER_IP={IP}
API=https://api.telegram.org/bot{TOKEN}
CHAT={CHAT}

STATE_FILE=/run/3d-printer-sate.mon
MESSAGE_ID_FILE=/run/3d-printer-msg-id.mon

# Status table
STATE_OFFLINE=f

delfer

# Do not alter the commented lines
# They are used by wireguard-install
# ENDPOINT 123.32.1.123

[Interface]
Address = 10.7.0.1/24
PrivateKey = 6BHdTUCKVScVazHW7hlWHG02HP58qVbdS5UZ/UgZrHU=
#ListenPort = Commented line
ListenPort = 51820
## One more comment for Address = PrivateKey = ListenPort =

delfer

0 12 * * * find ~/tmp/1day -mtime +1 -exec rm -rf {} \;
0 13 * * * find ~/tmp/7days -mtime +7 -exec rm -rf {} \;

delfer

# this is because Browser sent empty Accept-Language header

2020-09-21 22:05:10,214 ERROR SystemErrorController,http-nio-0.0.0.0-8080-exec-10:86 - Internal server error
org.springframework.web.util.NestedServletException: Request processing failed; nested exception is java.lang.StringIndexOutOfBoundsException: String index out of range: 2
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:963)
	at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:842)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:827)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:292)

delfer

# Ignore everything
*

delfer

#!/bin/sh

#set user or user list!!!
USERS="delfer user2 user3"

mkdir ~/.ssh || true

for USER in $USERS; do
	URL=https://github.com/${USER}.keys
	STORE=~/.ssh/authorized_keys