Skip to content

Instantly share code, notes, and snippets.

@oza
oza / yarn-site.xml
Last active January 20, 2018 09:29
yarn-site.xml for ResourceManager HA
<?xml version="1.0"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
/**
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
@oza
oza / yarn-site.xml
Last active December 25, 2015 13:19
How to enable resourcemanager's ha mode
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
<description></description>
</property>
<property>

What's this?

This document describes how to add API document of msgpack-related project to top page of msgpack.org.

How to add the API document

  1. Please add the sentence msgpack.org[ProjctName] into Description of yoru github repository.
  2. Please add the document named as follows at root of github repository.
  • msgpack.org.md
@oza
oza / how_to_update_msgpackorg_page_ja.md
Last active December 21, 2015 05:18
msgpack の top page にある APIドキュメントの更新方法

What's this?

msgpack.org の top ページにある,プロジェクトごとのAPIドキュメントを追加する方法について説明します.

追加方法

  1. 該当する github レポジトリの Description に,msgpack.org[ProjctName] を追加してください.
  2. 追加したいドキュメントを,レポジトリの直下の以下のいずれかの名前で配置します.
  • msgpack.org.md
  • README.md
I checked that:
In /etc/init.d/hive-server of CDH4.1.2 & CDH4.2.0
* specified 'LOG_FILE="/var/log/hive/${NAME}.log"'
* same filename specified as 'HADOOP_OPTS=\"-Dhive.log.dir=`dirname $LOG_FILE` -Dhive.log.file=${DAEMON}.log'
So, all logs of hive-server in 'hive-server.log' file is truncated when hive-server started.
In etc/rc.d/init.d of CDH4.3.0 (extracted tree of rpm)
package main
import (
"fmt"
)
type Fetcher interface {
// Fetch returns the body of URL and
// a slice of URLs found on that page.
Fetch(url string) (body string, urls []string, err error)
package main
import (
"code.google.com/p/go-tour/tree"
"fmt"
)
// Walk walks the tree t sending all values
// from the tree to the channel ch.
func Walk(t *tree.Tree, ch chan int) {

GenericUDFHiveLogo リリース!

この記事は,2013年のエイプリルフール用に作成した記事です.

背景

2013年1月21日,Hadoop Conference Japan 2013 Winter にて, Hive Logo Lovers は恐らく世界初のHive T シャツを片手に,衝撃的なデビューを果たしました.今や,その愛くるしい T シャツは Cloudera や TreasureData のトップエンジニアにも愛用されていると言います.

あれから約2ヶ月半.Hive Logo Lovers は,Hive Logo の露出時間を1秒でも長くしようと活動してきました.

6. アノテーションの整理

  • 現状の実装はフィールド一覧を順番通りにシリアライズする「良きに計らう」実装でであるが、若干混乱を招いている印象
  • 何がシリアライズされるのか分かっていないと分からない
  • アノテーションで明示させた方が質問が減りそう
  • 言い換えれば、カスタムクラスのシリアライズするには基本的にアノテーションが必須など
  • Optional/NotNullable/Index/Ignore の意義について考える.