Skip to content

Instantly share code, notes, and snippets.

View ThomasG77's full-sized avatar

Thomas Gratier ThomasG77

View GitHub Profile
@ThomasG77
ThomasG77 / README.md
Created April 8, 2024 11:17
Generate daily stations from meteo france data

Récupération des stations quotidiennes depuis les données Météo France

import json
import urllib.request
from glob import glob
import pandas as pd
import geopandas
@ThomasG77
ThomasG77 / README.md
Last active April 9, 2024 17:36
Fichiers IGN à disposition via la Géoplateforme
@ThomasG77
ThomasG77 / README.md
Created April 5, 2024 17:20
IGN 7z vs zip with some parquet experiments

7z vs zip avec données IGN

Nous avons compressé le fichier 7z

wget https://data.geopf.fr/telechargement/download/ADMIN-EXPRESS-COG/ADMIN-EXPRESS-COG_3-1__SHP_WGS84G_FRA_2023-05-03/ADMIN-EXPRESS-COG_3-1__SHP_WGS84G_FRA_2023-05-03.7z
7z x ADMIN-EXPRESS-COG_3-1__SHP_WGS84G_FRA_2023-05-03.7z
zip -r ADMIN-EXPRESS-COG_3-1__SHP_WGS84G_FRA_2023-05-03.zip ADMIN-EXPRESS-COG_3-1__SHP_WGS84G_FRA_2023-05-03
@ThomasG77
ThomasG77 / README.md
Created March 21, 2024 13:07
HTML browser favorites to CSV recipe with CLI

HTML browser favorites to CSV

Need pup (Go based), jq (install as binary) and he (Node based)

Take the html export from your browser

cat your_favorites.html | pup a json{} | jq -c -r '["title","url"], (.[] | [.text,.href]) | @csv' | he --decode >| your_favorites_decoded.csv
@ThomasG77
ThomasG77 / README.md
Last active June 13, 2024 08:29
EPCIs from DROM moved to area of metropolitan French area

Générer une version de données où les EPCI des DROM sont regroupés à proximité du territoire métropolitain

Cette demande fait suite à une demande pour avoir un résultat similaire à "Contours des communes de France simplifié, avec régions et département d'outre-mer rapprochés" https://www.data.gouv.fr/fr/datasets/contours-des-communes-de-france-simplifie-avec-regions-et-departement-doutre-mer-rapproches/

Nous avions vu passer le billet de blog d'Eric Mauvière à ce sujet https://www.icem7.fr/cartographie/un-fond-de-carte-france-par-commune-optimise-pour-le-web-et-lanalyse-statistique/

Méthodologie adoptée

Il passait par les codes départements pour déterminer quelles entités devaient être translatés/redimensionnées sur la métropole. Nous avons fait le choix de partir des rectangles englobants ("bounding box") pour pouvoir assigner les mêmes codes et réutiliser une partie de la recette du billet de blog. Ce fonctionnement présente en outre l'avantage d'être générique à toutes les unités administratives i

node_modules/
@ThomasG77
ThomasG77 / README.md
Created January 24, 2024 18:15
Reset your MySQL root password

Reset your MySQL root password

Only used on localhost so did not feel concerned about the password weakness here

sudo service mysql stop
echo "ALTER USER 'root'@'localhost' IDENTIFIED BY 'basicPassword1234';" >| $HOME/mysql-init
sudo mysqld --init-file=$HOME/mysql-init &
sudo service mysql start
Date Time Latitude Longitude Depth Magnitude Quality Location
11.11.2023 07:28:10 63.808 -22.513 6.2 km 1.5 58.68 4.9 km SW of Grindavík
11.11.2023 07:27:27 63.827 -22.499 5.3 km 2.2 90.04 3.1 km WSW of Grindavík
11.11.2023 07:26:57 63.810 -22.515 6.1 km 1.5 90.02 4.8 km SW of Grindavík
11.11.2023 07:26:23 63.819 -22.508 6.5 km 1.9 90.05 3.9 km SW of Grindavík
11.11.2023 07:26:07 63.809 -22.516 6.9 km 1.1 90.01 4.9 km SW of Grindavík
11.11.2023 07:25:37 63.819 -22.504 5.6 km 2.1 90.04 3.7 km SW of Grindavík
11.11.2023 07:25:16 63.842 -22.484 5.5 km 2.2 90.07 2.1 km W of Grindavík
11.11.2023 07:24:45 63.267 -23.690 3.2 km 2.4 74.51 25.5 km SSE of Eldeyjarboði
11.11.2023 07:24:23 63.868 -22.636 1.1 km 0.6 77.86 8.3 km NNE of Reykjanestá
@ThomasG77
ThomasG77 / README.md
Last active November 10, 2023 08:52
Conversion id parcelle Etalab vers commune, prefixe, section, numero et inversement

Code pour passer des id de parcelles Etalab en commune, prefixe, section, numero et inversement

Par exemple, pour l'id de parcelle 323190000A0133

Il s'agit d'un clé composite (une clé constituée de plusieurs clés)

  • 5 premiers caractères = code INSEE sur 5 caractères soit 32319
  • 3 caractères suivants = prefixe, ancien code INSEE sur 3 caractères (on ne mentionne pas à nouveau le département). 000 si inchangé
  • 2 caractères suivants = lettre ou numéro de section préfixé de 0 si une seul caractère. Ainsi A deviens 0A
  • 4 derniers caractères = numéro de parcelle dans la section préfixé de 0 si nécessaire 133 devant 0133
@ThomasG77
ThomasG77 / README.md
Last active September 26, 2023 13:19
Generation EPT 2023 "one-shot"

Compiler un EPT (établissements publics territoriaux)/des EPT

Les établissements publics territoriaux (EPT) sont parmis les "EPCI sans fiscalité propre".

Source des données