descico

Split を worker Node に割り当てる処理について

• やっているのは NodeScheduler のcomputeAssignments のようだ。
• locationAwareScheduling と isRemotelyAccessible() によって処理は分岐する、と考えておいて良い
• ここでしばしば紹介される minCandidates パラメータが登場する。コードを読む限り、これ、「Split を処理する Node の候補をいくつ選ぶか」というだけであるっぽい。
• 少なくとも minCandidates の数だけ Node を選び、その中から現在持っているタスクが少ない Node を選んでいるのである。
• だから、 minCandidates は別に並列度とは関係ないわけで、結果的にパフォーマンスに寄与するかどうかは微妙な感じもある。
• "max number of workers to run a stage in parallel (default: 10) " という説明は誤りなのではないか、という話。
  • http://image.slidesharecdn.com/hcj2014-presto-140708205946-phpapp01/95/presto-hadoop-conference-japan-2014-55-638.jpg?cb=1404871295
• この minCandidates が node-scheduler.min-candidates であることも確認済みである。
• 指摘もあったが誰も反応していない https://groups.google.com/forum/#!msg/presto-users/Ft71bkwElkQ/v85ROXC82hIJ

scova0731

定番、および比較的最近の学習リソースを集めてみました (2015/2)。

リファレンス

• Scala (by ひしだまさん) : 網羅的。特にコレクションのメソッド一覧など。
• Scala School (英)(Basics意訳 by 瀬良さん): Twitter社による入門記事
• Effective Scala (日本語版) : Twitter 社によるベストプラクティス集
• 公式Scala Documentation - ガイドと概要 : 2.8時代のですが、コレクション・Futureなどについて詳解

記事等

SpainTrain

machine:
    node:
        version: 4.1
    pre:
        - sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test && sudo apt-get update && sudo apt-get install gcc-4.9 g++-4.9
    post:
        - sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.9 50 --slave /usr/bin/g++ g++ /usr/bin/g++-4.9

sunaot

ユニットテストでテストを書くか書かないかの判断の話

お題

メソッドの出力の結果が、true か false のどちらでも返ってくる可能性がある場合、assert 文を書く時は true の場合だけで良いのだろうか

テストとは

まず、基本の考えとしてなぜテストをするのか？というのがあります。

staltz

How to show migration guides in GitHub Markdown

Use the diff code highlighting tag.

  ```diff
  - foo
  + bar

Example:

dave-andersen

import tensorflow as tf
import numpy as np
import time

N=10000
K=4
MAX_ITERS = 1000

start = time.time()

EderSantana

Code for Keras plays catch blog post

Train

python qlearn.py

Test

1. Generate figures

summerwind

L3DSR Test Client

This code is tested on Ubuntu 16.04.

Setup

Install scapy.

$ sudo apt-get install scapy