Skip to content

Instantly share code, notes, and snippets.

View GINK03's full-sized avatar
🌴
On vacation

catindog/nardtree GINK03

🌴
On vacation
241 followers · 22 following
View GitHub Profile
@GINK03
GINK03 / gist:007eeaad1f0d0d93e93d0b40e64825e9
Created April 2, 2017 11:21
データ分析者のElixir, Kotlin入門
# データ分析に使える言語はPython, Rだけではない
@GINK03
GINK03 / char_vec.py
Created April 3, 2017 09:57
char level 絵文字を意識したfasttextによるベクトル化
DATA_SIZE = 300000
def _make_char_index():
char_index = {}
for char in open('./char_level.txt', 'r').read().replace('\n', ' ').split():
emoji = re.compile(u'['
u'\U0001F300-\U0001F5FF'
u'\U0001F600-\U0001F64F'
u'\U0001F680-\U0001F6FF'
u'\u2600-\u26FF\u2700-\u27BF]+',
re.UNICODE)
@GINK03
GINK03 / keras-rnn-char-fasttext-conditiona-rnn.py
Created April 3, 2017 11:05
counter = 0
def build_model(mode=None, maxlen=None, output_dim=None):
print('Build model...')
def _scheduler(epoch):
global counter
counter += 1
rate = learning_rates[counter]
#model.lr.set_value(rate)
print(model.optimizer.lr)
#print(counter, rate)
@GINK03
GINK03 / crazy-format-parser.py
Last active April 3, 2017 13:59
import os
import math
import sys
import itertools
import subprocess
import glob
import csv
from collections import OrderedDict as dict
import pickle
import re
@GINK03
GINK03 / polarity
Created April 16, 2017 22:25
This file has been truncated, but you can view the full file.
ダイエー -4.211883314885654
がっかり -3.724952240087231
最悪 -3.629671589687795
二度と -3.615183142062377
期待はずれ -3.364096361814979
在庫管理 -3.251811276002615
シーブリーズ -3.243134607447971
返金 -3.223751242139063
江尾 -3.142244830633572
お蔵入り -3.044963500843487
@GINK03
GINK03 / adhoc.kt
Created April 20, 2017 04:56
import com.treasuredata.client.*
import com.google.common.base.Function
import org.msgpack.core.MessagePack
import org.msgpack.core.MessageUnpacker
import org.msgpack.value.ArrayValue
import org.msgpack.core.MessageFormat
import com.treasuredata.client.model.*
import java.io.InputStream
import java.io.File
import kotlin.String
@GINK03
GINK03 / food2stuff.md
Last active April 23, 2017 05:08
resnetで料理の材料を当てていく

Resnetで料理の材料をあてていく:food2stuff

モチベーション

  • ResNetを使ってみたい
  • 強い転移学習方法を教わったのでやってみたい
  • img2cal(画像からカロリーを当てるタスク)などに転用できるかもと思った

food2stuffって？

  • stuffって材料って意味らしいです
  • 画像からなんの構成品目でできており、なんの食材でできているかベクトル表現で出力します
@GINK03
GINK03 / td.txt
Created April 26, 2017 07:45
date_time varchar date_time
ip varchar ip
request_uri varchar request_uri
ipao97_value varchar ipao97_value
referer varchar referer
useragent varchar useragent
tuuid varchar tuuid
account_id bigint account_id
data_owner_id bigint data_owner_id
os varchar os
@GINK03
GINK03 / console.sh
Created April 27, 2017 02:03
$ td job:show 138717728 -f csv -o 138717728.csv --column-header
JobID : 138717728
Status : success
Type : hive
Database : tech_batch
Priority : NORMAL
Retry limit : 0
Output :
Query : SELECT * FROM tech_batch.latest_60days WHERE TD_TIME_RANGE (time, '2017-04-01', null, 'JST') LIMIT 1000000000
CPU time : 3h 13m 33s 930ms
@GINK03
GINK03 / treasuredata-json-download.md
Created April 27, 2017 02:36

存在を知らなかったが、jsonでダウンロードできるらしい

まじか

$ td job:show 138717728 -f json -o 138717728.json

こんな感じ