ksomemo

Hiveでの変数

set

変数一覧を見る

set;

環境変数

${env:var_name}

ksomemo

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<project default="create_run_jar" name="Create Runnable Jar for Project Sample">
    <!--this file was created by Eclipse Runnable JAR Export Wizard-->
    <!--ANT 1.7 is required                                        -->
    <property name="bin.dir" value="bin" />
    <property name="classes.dir" value="classes" />
    <dirname property="project.path" file="${ant.file}" />
    <target name="create_run_jar">
        <jar destfile="${project.path}/Sample.jar" filesetmanifest="mergewithoutmain">
            <manifest>

ksomemo

Luceneのデフォルト辞書フォーマット

Luceneのデフォルト辞書より

サンプル

• "仕舞い",3999,名詞,一般,,,,,"仕舞い","シマイ","シマイ"
• "原村",3384,名詞,固有名詞,地域,一般,,,"原村","ハラムラ","ハラムラ"
• "印加",3775,名詞,サ変接続,,,,,"印加","インカ","インカ"

フォーマット

"単語",コスト,品詞,品詞詳細,,,,,"代表表記","発音１","発音２"

ksomemo

Eclipse

• Gradle Integration for Eclipse
  • Gradle IDE
  • org.gradle.toolingapi.feature
  • Spring Dashboard
  • Spring UAA Integration
• Groovy-plugin
  • http://dist.springsource.org/release/GRECLIPSE/e4.4

ksomemo

#!/bin/bash

export HADOOP_CLASSPATH=`hbase classpath`

hadoop jar ${EXEJAR} importtsv \
  -Dmapred.reduce.child.java.opts=-Xmx512m \
  -Dimporttsv.columns=HBASE_ROW_KEY,${FAMILY_NM}: \
  ${TABLE_NM} \
  ${DIR_IN}

ksomemo

Manifest-Version: 1.0
Class-Path: .

ksomemo

# -*- coding: utf-8 -*-
import json
import os
import urllib
import urlparse
from requests.auth import OAuth1
import requests
import twitter
from study import p
import study

ksomemo

#!/bin/bash

cut -d' ' -f-"$(expr $(wc -w < word.txt) / 2)" > word_half.txt < word.txt

ksomemo

word2vec環境構築(CentOS6.4)

概要

• ホストOS Windows/ゲストOS CentOS6.4
• vagrant でのゲストOS立ち上げ
• 上記より、sudo xxx/pass:vagrant での実行をメインとする

repository 追加

ksomemo

ls *.gz | awk -F'.' '{print $1}' | xargs -I % bash -c "gunzip -c %.gz > %.tsv"