Cloud Composer の DAG でファイルをダウンロードし、それを Google Cloud Storage (GCS) にアップロードする方法を以下に説明します。これまで説明した Secret Manager を使った認証情報の取得に加えて、GCS にファイルをアップロードする部分を追加します。
ファイルを GCS にアップロードするために、Airflow の GoogleCloudStorageHook を使用します。このフックは、Google Cloud Storage にファイルをアップロードする際に使用されます。
以下に、先ほどの DAG に GCS アップロード機能を追加した例を示します。
| https://docs.google.com/presentation/d/1dUkD4KtvpMZL0ay4jHpgDevPhodmerwCF9vFDco10rI/edit#slide=id.p |
It's a benchmark for simdjson vs json on python 3.10
https://github.com/serde-rs/json-benchmark/blob/master/data/canada.json
| import dataclasses | |
| @dataclasses.dataclass | |
| class User: | |
| name: str | |
| age: int = 0 | |
| if __name__ == "__main__": | |
| u = User("taro", 32) |
| ~/src/beam >>> sh sdks/java/build-tools/beam-linkage-check.sh origin/master beam-11770 | |
| Comparing linkage of artifact lists beam-sdks-java-core beam-sdks-java-io-google-cloud-platform beam-runners-google-cloud-dataflow-java beam-sdks-java-io-hadoop-format using baseline origin/master and proposal beam-11770 | |
| Establishing baseline linkage for origin/master | |
| HEAD is now at aaad864c9a [BEAM-7372] remove aliases created for python 2 (#14012) | |
| 2021年 2月 23日 火曜日 10:03:12 JST: Running linkage check (baseline) for beam-sdks-java-core | |
| 2021年 2月 23日 火曜日 10:03:12 JST: to create a baseline (existing errors before change) build/linkagecheck/baseline-beam-sdks-java-core.xml | |
| + ./gradlew -Ppublishing -PskipCheckerFramework -PjavaLinkageArtifactIds=beam-sdks-java-core -PjavaLinkageWriteBaseline=build/linkagecheck/baseline-beam-sdks-java-core.xml :checkJavaLinkage | |
| Configuration on demand is an incubating feature. | |
| > Task :sdks:java:io:clickhouse:compileJavacc |
| # for leetcode | |
| # https://leetcode.com/problems/median-of-two-sorted-arrays/solution/ | |
| class Solution: | |
| def findMedianSortedArrays(self, nums1: List[int], nums2: List[int]) -> float: | |
| c = sorted(nums1 + nums2) | |
| l = len(c) | |
| ans =0 | |
| if l % 2 == 1: | |
| ans = c[ l // 2] | |
| else: |
| key | value |
|---|---|
| 更新 | 2020-07-12 |
| 作者 | @masahito |
| バージョン | 20.07.12 |
| URL | https://masahito.me/ |
| import io.kotest.core.spec.style.FunSpec | |
| import io.kotest.matchers.shouldBe | |
| import io.kotest.property.* | |
| import io.kotest.property.arbitrary.* | |
| class BusinessLogicTests : FunSpec({ | |
| fun isPrimeNumber(number: Int): Boolean { | |
| val root: Int = kotlin.math.floor(kotlin.math.sqrt(number.toDouble())).toInt() |
| from typing import TypeVar, Generic | |
| T = TypeVar('T', bound='Shape') | |
| class Stack(Generic[T]): | |
| def __init__(self) -> None: | |
| # Create an empty list with items of type a T | |
| print(__annotations__) # {} | |
| self.items: List[T] = [] |
