kzinmr

import pickle
from pathlib import Path

import modal

lancedb_image = modal.Image.debian_slim().pip_install(
    "lancedb",
    "langchain_core",
    "langchain_community",
    "langchain_openai",

kzinmr

LLMを数分でファインチューニング (ft. Mixtral, LLaMA, Mistral)

このガイドでは、modalとaxolotlを使って、任意のLLMを素早くファインチューニングする方法を紹介します。

サーバーレスなaxolotl

Modalは、人気のあるaxolotl LLMファインチューニングライブラリにサーバーレスの機能を提供します。 Modalのクラウドインフラストラクチャでファインチューニングジョブを実行すると、Dockerイメージの扱いや高価なGPU VMのアイドル状態を気にすることなく、モデルをトレーニングできます。

また、Modalで書かれたアプリケーションは、複数のGPUに簡単にスケールできます。

kzinmr

import uuid
from collections.abc import Iterable
from dataclasses import dataclass
from enum import Enum
from typing import Any, Self
from typing import cast as typing_cast

from pgvector.sqlalchemy import Vector
from sqlalchemy import (
    BinaryExpression,

kzinmr

import multiprocessing

import kenlm
import MeCab

lm_model = None


def to_punct_between_texts(
    text_l, text_r, l_model, tokenizer, threshold=0.0, punct="。", print_score=False,

kzinmr

import os
from dataclasses import dataclass
from typing import Optional

import fugashi
import unidic_lite


@dataclass
class Token:

kzinmr

find . -type d -empty -delete

kzinmr

from textdistance import damerau_levenshtein
import mojimoji
import regex as re

def partial_ratio(s1, s2, levenshtein_ratio=damerau_levenshtein.normalized_similarity):
    def _preprocess(s):
        s = mojimoji.zen_to_han(s, kana=False, ascii=True, digit=True)
        s = s.lower()
        s = re.sub('\s+', '', s)
        return s

kzinmr

import math
from collections import Counter
from dataclasses import dataclass
from itertools import tee, zip_longest
from typing import List

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import regex as re

kzinmr

# https://pypi.org/project/stop-words/
from stop_words import get_stop_words
from nltk.corpus import stopwords

stop_words = list(get_stop_words('en'))         #About 900 stopwords
nltk_words = list(stopwords.words('english')) #About 150 stopwords

kzinmr

import os
import kyoto_reader #import KyotoReader, Document

def convert_camphr_dataset(doc: kyoto_reader.Document) -> list:
    mrphs = doc.mrph_list()
    named_entities = [ent for ent in doc.named_entities]
    entities = []
    midasis = [mrph.midasi for mrph in mrphs]
    text = ''.join(midasis)