Tatsunori Nishikori tanish-kr

想定パラメータ

s3バケット名 : パッケージング化したzipを格納
destinationフォルダ : パッケージ前のソース。ライブラリ込
src

提供言語

python2.7
python3

Amazon ECS CLIインストール

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/ECS_CLI_installation.html

sudo curl -o /usr/local/bin/ecs-cli https://s3.amazonaws.com/amazon-ecs-cli/ecs-cli-darwin-amd64-latest

MD5検証

awk -vDate=`date -d'now-2 hours' +[%d/%b/%Y:%H:%M:%S` '$4 > Date {print Date, $0}' access_log

ビットレート

1秒間にどれだけ情報を詰め込んでいるかということを表す
ビットレートが高いほど、画質、音質が向上する
映像と音声それぞれ別々にビットレートが割り当てられている。
2つのビットレートを合計したものをオーバルビットレートと呼ぶ

映像ビットレート

映像のビットレートが高ければ高いほど、ピクセル全てに正確な色情報を割り当てることが出来る

MySQL Install

$ sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm
$ sudo yum-config-manager --disable mysql80-community
$ sudo yum-config-manager --enable mysql57-community
$ yum info mysql-community-server
$ sudo yum install mysql-community-server -y
$ mysqld --version

ÉBSのサイズを変更

EC2

$ lsblk
$ df -h
$ sudo growpart /dev/xvdf 1
$ df -T
$ sudo yum install xfsprogs

SSHでcontrol socketを利用したport foward

mysql hostをport foward

ssh -M -S ctl_path -Nf -L 33306:db-instance:3306 [email protected] -i ~/.ssh/aws.pem

control socketをチェック

マクロの基礎

マクロとは

Vimでの一連の操作を記録し、記録した操作を繰り返し再生出来る機能

マクロの記録

q{0-9a-zA-Z"}

ListからDataSet, DataFrame作成

create dataframe

val ds = List(1,2).toDS
# org.apache.spark.sql.Dataset[Int] = [value: int]

val df = List(1,2).toDF
# org.apache.spark.sql.DataFrame = [value: int]