Robert Lee musalys

도커와 AWS를 활용한 클라우드 딥러닝 환경 구축

최근 딥러닝 관련 패키지들은 대부분 CPU와 GPU를 함께 지원하고 있습니다. GPU를 사용하면 보다 빠르게 학습 결과를 낼 수 있지만, GPU를 활용하기 위해서는 NVIDIA계열의 그래픽 카드, 드라이버 S/W 그리고 CUDA의 설치를 필요로 합니다.

이 글에서는 AWS의 GPU 인스턴스와 도커를 활용해 딥러닝 패키지(Caffe)를 편리하게 사용하는 방법을 소개합니다.

A personal diary of DataFrame munging over the years.

Convert Series datatype to numeric (will error if column has non-numeric values)
(h/t @makmanalp)

	import asyncio
	from django import http
	from django.core.urlresolvers import set_script_prefix
	from django.utils.encoding import force_str
	from django.core.handlers.wsgi import get_script_name
	from django_wsgi.handler import DjangoApplication
	import logging

	import logging
	import sys

	node {
	echo 'Results included as an inline comment exactly how they are returned as of Jenkins 2.121, with $BUILD_NUMBER = 1'
	echo 'No quotes, pipeline command in single quotes'
	sh 'echo $BUILD_NUMBER' // 1
	echo 'Double quotes are silently dropped'
	sh 'echo "$BUILD_NUMBER"' // 1
	echo 'Even escaped with a single backslash they are dropped'
	sh 'echo \"$BUILD_NUMBER\"' // 1
	echo 'Using two backslashes, the quotes are preserved'
	sh 'echo \\"$BUILD_NUMBER\\"' // "1"

	# scala install
	wget www.scala-lang.org/files/archive/scala-2.11.7.deb
	sudo dpkg -i scala-2.11.7.deb

	# sbt installation
	echo "deb https://dl.bintray.com/sbt/debian /" \| sudo tee -a /etc/apt/sources.list.d/sbt.list
	sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823
	sudo apt-get update
	sudo apt-get install sbt

	"""
	以下の論文で提案された改良x-means法の実装

	クラスター数を自動決定するk-meansアルゴリズムの拡張について
	http://www.rd.dnc.ac.jp/~tunenori/doc/xmeans_euc.pdf
	"""

	import numpy as np
	from scipy import stats
	from sklearn.cluster import KMeans