terashim

BigQuery パーティショニングによるクエリサイズの削減実験

パーティショニングされたテーブルに対してクエリを実行するとき, パーティショニングフィールドの値で絞り込むとデータ処理量を削減できる. しかし, サブクエリや他のテーブルを使って絞り込み条件を与えるとクエリサイズ削減が効かない.

述部フィルタはテーブルの識別子に可能な限り近いところに記述してください。述部（内部クエリやサブクエリなど）を解決するために複数の段階でクエリの評価を行う必要がある複雑なクエリでは、クエリからパーティションがプルーニングされません。

DBeaverでSSHトンネル経由の接続をする場合、SSH秘密鍵はOpenSSH形式ではなくPEM形式にする必要がある。

例えば既にOpenSSH形式の秘密鍵 ~/.ssh/id_rsa があるとき、それをPEM形式に変換したファイルを ~/.ssh/id_rsa.pem に作成するには

cp ~/.ssh/id_rsa ~/.ssh/id_rsa.pem
ssh-keygen -p -m PEM -f ~/.ssh/id_rsa.pem

とする。

	# Portainer Local CLI
	#
	# Docker Desktop for Mac & fish shellのローカル環境でPortainerを起動する関数
	#
	function portainer
	echo "Dockerの状態を確認します"
	echo "> docker system info"
	docker system info
	if [ $status -ne 0 ]
	echo "エラー: Dockerが起動していません. 終了します."

	# Mac OS に Python 3.8 をインストールして venv 環境を作成する例

	# Homebrew で Python 3.8 を取得
	brew install [email protected]
	# $HOME/.venv/3.8 にPython 3.8 用の venv フォルダを作成
	# (プロジェクトごとにvenv環境を分離したい場合は, 別フォルダを作成する)
	/usr/local/opt/[email protected]/bin/python3 -m venv $HOME/.venv/3.8

	# 用法
	#

	<script type="text/x-mathjax-config">
	MathJax.Hub.Config({
	tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]}
	});
	</script>
	<script type="text/javascript" async
	src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.6/MathJax.js?config=TeX-MML-AM_CHTML"></script>

	# 先月の月初の日付を取得する
	library(lubridate)
	floor_date(today() - months(1), "month")

	--
	-- BigQuery クエリの例 - 日付でパーティショニングされたテーブルから毎月月末のデータのみ抽出する
	--
	-- パーティショニングされたテーブルに対してクエリを実行するとき,
	-- パーティショニングフィールドの値で絞り込むとデータ処理量を削減できる.
	-- しかし, サブクエリを使って絞り込み条件を与えるとクエリのサイズ削減が効かない.
	--
	-- 処理サイズを抑えながら毎月月末のデータだけを抽出するクエリの例を示す.
	--
	-- ### データの準備