BERTでpretrainedで予想するだけ
（学習がとても重いと、トークナイズができていないようで日本語は今の所後回しでいいともう）
import torch
from pytorch_pretrained_bert import BertTokenizer, BertModel, BertForMaskedLM
GINK03
/ dockerでファイルシステムをマウントして使う.md
Last active
September 25, 2018 11:34
dockerでファイルシステムをマウントして使う.md
こんなふうになるものなるものらしい。
ホスト側のdb_dataはパーミッションを気にしなくてはならない！
docker run -p 1022:22 -it \
--mount type=bind,source="$(pwd)"/db_data,target=/db_data \
--mount type=bind,source="$(pwd)"/db_sec,target=/db_sec \
--mount type=bind,source="$(pwd)"/db_srb,target=/db_srb \
nardtree/solid-scraper server.py
scipy sparseのlilでくみたててcsrに変換し、np.float32なら学習できる
※ : https://github.com/GINK03/ai_news/blob/master/cold_start_modeling/train.ipynb
import pickle
import pandas as pd
import numpy as np
from scipy.sparse import csr_matrix
lil = pickle.load(open('lil.pkl', 'rb'))
csr = csr_matrix(lil).astype(np.float32)
GINK03
/ Linuxでパスワード認証をユーザ単位で無効化してssh認証にする.md
Created
August 26, 2018 07:11
Linuxでパスワード認証をユーザ単位で無効化してssh認証にする
Private Keyを.ssh/authorized_keysに書き込む
$ dummy@Akatsuki:~/.ssh$ cat > authorized_keys
....hogehoge....600permission
$ dummy@Akatsuki:~/.ssh$ chmod 600 authorized_keys
def __getImp__(model):
split = dict(zip(model.feature_name(), model.feature_importance('split')))
split = pd.DataFrame.from_dict(split, orient='index')
split.columns = ['split']
gain = dict(zip(model.feature_name(), model.feature_importance('gain')))
gain = pd.DataFrame.from_dict(gain, orient='index')
gain.columns = ['gain']
#!/usr/bin/env python3
import os
import sys
import re
try:
number = [arg for arg in sys.argv if re.search(r'^\d{1,}$', arg)][0]
SSHKEY=os.environ['SSHKEY']
os.system(f'sshpass -p "{SSHKEY}" ssh [email protected].{number}')
K.set_value(model.optimizer.lr, 0.001)