Skip to content

Instantly share code, notes, and snippets.

View moaikids's full-sized avatar

moaikids moaikids

  • moaikids
  • moaikids
View GitHub Profile
@moaikids
moaikids / gist:4959306
Last active December 13, 2015 18:58
using 'YARN'

on 'hive-site.xml'

<property> <name>mapred.job.tracker</name> <value>{hostname(resource manager)}</value> <description>Configuration parameter name is 'JobTracker', but we set ResourceManager's address. OK, it's correct (now).</description> </property>

set env.

export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

  • 一口
  • 他一口吞下面包(开玩笑 :)
  • 他被询问那个谣言真假时一口否定了。
  • 欢喜
  • 咱们在卡拉OK店欢喜地唱歌。
  • 达到一亿客户之后观众欢喜起来而欢呼了。
  • 我上课时首先把学费递给老师。
  • 递名片时要礼貌,视线,姿势,表情,等等。
  • 涌出
$ ./zopfli -h
Usage: zopfli [OPTION]... FILE
-h gives this help
-c write the result on standard output, instead of disk filename + '.gz'
-v verbose mode
--gzip output to gzip format (default)
--deflate output to deflate format instead of gzip
--zlib output to zlib format instead of gzip
--i5 less compression, but faster
--i10 less compression, but faster
  • 枯燥
  • 大企业的工作是很稳定但有点枯燥。
  • 平时他说的话总是枯燥无味,但是一喝酒就变幽默。
  • 管制
  • 领导人要管制这个项目的期日。
  • 谁也不能管制别人的感情。
  • 无情
  • 世界上最无奈无情的是自然灾害。但没有自然我们活不下去。
  • 那么相爱的恋人也分别之后就变无情了。
  • 拒绝

#事例

  • bump
  • mongodb -> riak (at 2012)
  • 半年から1年かけてmigration
  • flock
  • transaction logをアプリレイヤで頑張る(use redis)
  • lockingマシンを用意(1台?)
  • montage (written by Haskel)
  • best buy
  • Product Catalogをriakで管理
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
import com.twitter.hbc.ClientBuilder;
import com.twitter.hbc.core.Client;
import com.twitter.hbc.core.Constants;
import com.twitter.hbc.core.HttpHosts;
import com.twitter.hbc.core.endpoint.StatusesSampleEndpoint;
import com.twitter.hbc.core.event.Event;
import com.twitter.hbc.core.processor.StringDelimitedProcessor;
@Override
public boolean process() throws IOException, InterruptedException {
T msg = processNextMessage();
if (msg != null) {
return queue.offer(msg, offerTimeoutMillis, TimeUnit.MILLISECONDS);
} else {
// if its null, just try again
return process();
}
}
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.Map;
import java.util.concurrent.BlockingQueue;
import javax.annotation.Nullable;
import org.codehaus.jackson.map.ObjectMapper;
import java.util.Map;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.LinkedBlockingQueue;
import com.cybozu.labs.langdetect.Detector;
import com.cybozu.labs.langdetect.DetectorFactory;
import com.cybozu.labs.langdetect.LangDetectException;
import com.twitter.hbc.ClientBuilder;
import com.twitter.hbc.core.Client;
import com.twitter.hbc.core.Constants;
@moaikids
moaikids / gist:5211588
Last active October 29, 2017 15:01
文字の正規化について