Przykładowy plan stworzony dla studentów na kierunku: Inżynieria Bezpieczeństwa
- Charakterystyka danych przestrzennych
- co to ta długość i szerokość geograficzna
- wektor vs raster
- podstawowe operacje na danych przestrzennych:
| (: skrypt zakłada, korzystamy z programu BaseX i utworzyliśmy bazę XML z wyciętymi "namespaces" :) | |
| (: opcje wyjścia :) | |
| (: chcemy otrzymać plik CSV - wykorzystując moduł programu BaseX - z nagłówkiem, rozdzielany średnikiem :) | |
| declare namespace output = "http://www.w3.org/2010/xslt-xquery-serialization"; | |
| declare option output:method "csv"; | |
| declare option output:csv "header=yes, separator=semicolon"; | |
| (: deklaracja map zawierających węzły XML z jednostkami administracyjnymi, miejscowościami i ulicami, które później będziemy łączyć z punktami adresowymi :) | |
| (: z mojego doświadczenia wynika, że mapy dają dużo szybsze łączenie (kosztem RAM) :) | |
| declare variable $ja := map:merge( |
| certifi==2020.6.20 | |
| chardet==3.0.4 | |
| idna==2.10 | |
| pyshp==2.1.2 | |
| requests==2.24.0 | |
| urllib3==1.25.10 |
| import time | |
| import spotipy | |
| from spotipy.oauth2 import SpotifyOAuth | |
| from tqdm import tqdm | |
| import secrets | |
| # | |
| # pip install spotipy tqdm |
Przykładowy plan stworzony dla studentów na kierunku: Inżynieria Bezpieczeństwa
| # import danych OpenStreetMap z pliku PBF do bazy PostgreSQL + PostGIS z użyciem Imposm3 | |
| mkdir imposm-test | |
| cd imposm-test | |
| wget https://github.com/omniscale/imposm3/releases/download/v0.11.1/imposm-0.11.1-linux-x86-64.tar.gz | |
| tar -xvf imposm-0.11.1-linux-x86-64.tar.gz |
| { | |
| "version": 8, | |
| "name": "Map style", | |
| "metadata": {"maputnik:renderer": "mbgljs"}, | |
| "sources": { | |
| "osm": { | |
| "type": "raster", | |
| "tiles": [ | |
| "https://a.tile.openstreetmap.org/{z}/{x}/{y}.png", | |
| "https://b.tile.openstreetmap.org/{z}/{x}/{y}.png", |
| from collections import Counter | |
| from datetime import timedelta | |
| from itertools import combinations | |
| from sys import argv | |
| from time import perf_counter | |
| import osmium | |
| from osmium.osm import Node, Way, Relation | |
| import org.apache.spark.sql.functions.{col, lower} | |
| import org.apache.spark.sql.{DataFrame, SparkSession} | |
| object Main { | |
| def main(args: Array[String]): Unit = { | |
| // initialize | |
| val spark = SparkSession.builder.master("local[1]").appName("Simple Application").getOrCreate() |
| import sys | |
| import datetime | |
| import time | |
| from pathlib import Path | |
| try: | |
| import ijson | |
| except ModuleNotFoundError: | |
| print("Module isjon not found. Run: `pip install ijson`") | |
| raise |
| import duckdb | |
| import fabduckdb | |
| import gspread | |
| import pandas as pd | |
| def read_gsheet(service_account_json_path: str, gsheets_url: str, worksheet_name: str) -> pd.DataFrame: | |
| gc = gspread.service_account(filename=service_account_json_path, scopes=gspread.auth.READONLY_SCOPES) | |
| gsheet = gc.open_by_url(gsheets_url) | |
| data = gsheet.worksheet(worksheet_name).get_all_records() |