Skip to content

Instantly share code, notes, and snippets.

@kyo-takano
kyo-takano / making-the-most-of-local-llms.ipynb
Last active November 7, 2025 04:00
ローカルLLMはこーやって使うの💢
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
@alfredplpl
alfredplpl / gemma_finetune_lora.py
Created February 24, 2024 04:23
Gemma初心者ファインチューニングコードです。HFの設定などはよしなにやってください。
# Reference #1: https://note.com/npaka/n/nc55e44e407ff
# Reference #2: https://huggingface.co/blog/gemma-peft
# Licence: MIT
from peft import LoraConfig
lora_config = LoraConfig(
r=8,
target_modules=["q_proj", "o_proj", "k_proj", "v_proj", "gate_proj", "up_proj", "down_proj"],
task_type="CAUSAL_LM",
@kyo-takano
kyo-takano / lexical_search_with_gzip.py
Last active March 11, 2024 03:39
Lexical Search with gzip (gzipによる語彙検索)
import gzip
def gzip_search(query: str, candidate_chunks: list[str], top_k: int=1):
"""
文字列ベースで類似したテキストチャンクを推定するアルゴリズム.
`query`, `chunk`, および`query + " " + chunk`をそれぞれgzipで圧縮し編集距離のようなものをベースに評価する.
Parameters:
query (str): 検索クエリとして使用する文字列.
top_k (int, optional): 返される類似チャンクの上位k個を指定する (default: 1).
@greymd
greymd / sudo新一.md
Last active November 2, 2025 13:07
sudo新一

 オレは高校生シェル芸人 sudo 新一。幼馴染で同級生の more 利蘭と遊園地に遊びに行って、黒ずくめの男の怪しげな rm -rf / 現場を目撃した。端末をみるのに夢中になっていた俺は、背後から近づいてきたもう1人の --no-preserve-root オプションに気づかなかった。 俺はその男に毒薬を飲まされ、目が覚めたら・・・ OS のプリインストールから除かれてしまっていた!

sudo がまだ $PATH に残っていると奴らにバレたら、また命を狙われ、他のコマンドにも危害が及ぶ』

 上田博士の助言で正体を隠すことにした俺は、 which に名前を聞かれて、とっさに『gnuplot』と名乗り、奴らの情報をつかむために、父親がシェル芸人をやっている蘭の $HOME に転がり込んだ。ところが、このおっちゃん・・・とんだヘボシェル芸人で、見かねた俺はおっちゃんになりかわり、持ち前の権限昇格能力で、次々と難タスクを解決してきた。おかげで、おっちゃんは今や世間に名を知られた名エンジニア、俺はといえばシェル芸 bot のおもちゃに逆戻り。クラスメートの convertojichattextimg にお絵かきコマンドと誤解され少年ワンライナーお絵かき団を結成させられる始末。

 ではここで、博士が作ってくれたメカを紹介しよう。最初は時計型麻酔 kill 。ふたについた照準器にあわせてエンターを押せば、麻酔シグナルが飛び出し、プロセスを瞬時に sleep させることができる。 次に、蝶ネクタイ型 banner 。裏についているダイヤルを調整すれば、ありとあらゆる大きさのメッセージを標準出力できる。必殺のアイテムなら fork 力増強シューズ。電気と磁力で足を刺激し、 :(){ :|:& };: でプロセステーブ

"""
0.PKE実行に必要なライブラリのインストール
"""
# !pip install ginza nltk ja-ginza -q
# !pip install git+https://github.com/boudinfl/pke.git -q
"""
1.歌詞データ取得
以下のサイト参照
@tos-kamiya
tos-kamiya / jma_co_jp.py
Last active October 28, 2021 07:54
気象庁のAPIを使って天気予報を取得する例
#!/usr/bin/env python3
import sys
import json
import re
import requests
from rich import box
from rich.console import Console
from rich.table import Table
@doyle-flutter
doyle-flutter / fastApiFlutter.dart
Created February 25, 2021 06:26
FastAPI + Flutter
import 'package:flutter/material.dart';
import 'package:webview_flutter/webview_flutter.dart'; // ^1.0.7
void main() => runApp(MaterialApp(home: MyApp(),));
class MyApp extends StatelessWidget {
@override
Widget build(BuildContext context) {
return Scaffold(
appBar: AppBar(title: Text("카카오 결제")),
@imksoo
imksoo / aws_security_group_with_port_range.tf
Created September 5, 2020 23:03
TerraformでAWS上のSecurity Groupを作るときにポート範囲付きでリスト化してサクッと作る
module "security_group_rules_with_port_range" {
source = "./modules/security_group_rules"
security_group_id = "sg-XXXXXXXX"
description = "Windows Active Directory ports"
type = "ingress"
self = true
rules = [
# DNS
{ protocol = "udp", port = "53" },
{ protocol = "tcp", port = "53" },
@JWDobken
JWDobken / gitlab-ci.yml
Created May 18, 2019 07:41
Django .gitlab-ci.yml
image: docker:latest
services:
- docker:dind
variables:
DOCKER_HOST: tcp://docker:2375
DOCKER_DRIVER: overlay2
CONTAINER_TEST_IMAGE: $CI_REGISTRY_IMAGE:$CI_BUILD_REF_SLUG
CONTAINER_RELEASE_IMAGE: $CI_REGISTRY_IMAGE:latest
@koshian2
koshian2 / gpu_tpu_1.py
Created May 14, 2019 00:05
GPU vs TPU 1
import tensorflow as tf
import tensorflow.python.keras as keras
import tensorflow.python.keras.layers as layers
from tensorflow.contrib.tpu.python.tpu import keras_support
import datetime
import time
import pickle
import os
def conv_bn_relu(input, ch, reps):