Skip to content

Instantly share code, notes, and snippets.

View ColinMaudry's full-sized avatar

Colin Maudry ColinMaudry

69 followers · 4 following
View GitHub Profile
@ColinMaudry
ColinMaudry / test.csv
Created March 1, 2021 10:20
example csv
We can make this file beautiful and searchable if this error is corrected: Unclosed quoted field in line 4.
id,uid,acheteur.id,acheteur.nom,nature,objet,codeCPV,procedure,lieuExecution.code,lieuExecution.typeCode,lieuExecution.nom,dureeMois,dateNotification,datePublicationDonnees,montant,formePrix,titulaire.id,titulaire.typeIdentifiant,titulaire.denominationSociale,donneesActuelles
"201900056462300","23350001600040201900056462300","23350001600040",Conseil régional de Bretagne,Marché,"Impression d'affiches, de flyer et de dépliants pour l'évènement Urban Trail","79311000",Procédure adaptée,"35238",Code commune,Rennes,3,2019-04-27,2019-04-29,21800.10,Ferme,"81223113200034",SIRET,Colin Maudry,,0
"201900056462300","23350001600040201900056462300","23350001600040",Conseil régional de Bretagne,Marché,"Impression d'affiches, de flyer et de dépliants pour l'évènement Urban Trail","79311000",Procédure adaptée,"35238",Code commune,Rennes,3,2019-04-27,2019-04-29,21800.10,Ferme,"82379887100013",SIRET,Datactivist,,0
"201900056462300","23350001600040201900056462300","23350001600040",Conseil régional de Bretagne,Marché,"Impression
@ColinMaudry
ColinMaudry / traitement-du-flux.md
Last active November 11, 2020 14:45
Proposition pour le traitement du flux dans decp-rama

Proposition pour le traitement du flux dans decp-rama

Contexte

Actuellement, pour chaque source, decp-rama (code source) :

  1. télécharge l'ensemble des fichiers
  2. traite l'ensemble des fichiers
  3. fusionne les données de la source en un seul fichier (ex : json/data.gouv.fr_pes.json)
@ColinMaudry
ColinMaudry / delegataires-service-public.sh
Created November 3, 2020 14:59
Script pour la création de la liste des délégataires de service public à partir des DECP
#!/bin/bash
# Vous devez installer jq https://stedolan.github.io/jq/
# decp.json : https://www.data.gouv.fr/fr/datasets/5cd57bf68b4c4179299eb0e9/#resource-16962018-5c31-4296-9454-5998585496d2
echo "nom,id,typeId" > delegataires-service-public.csv
jq '[.marches[] | select(.nature == "Délégation de service public") | .concessionnaires[] ] | unique_by(.id) | (map(keys) | add | unique) as $cols | map(. as $row | $cols | map($row[.])) as $rows | $rows[] | @csv ' json/decp.json | sort -u | sed 's/[\\"]//g' >> delegataires-service-public.csv
@ColinMaudry
ColinMaudry / gendarmerie.csv
Last active July 27, 2020 14:45
Ajouts à dicosigles, merci à Denis Merigoux ! (https://merigoux.ovh)
term definition
AAA Acte Auto-Agressif
AAB Atteinte Aux Biens
AAP Adjoint Administratif Principal
AC Avoirs Criminels
ACCIMADA ACCIdent de transport de MAtières DAngereuses
ACCITRAPU ACCIdent de TRAnsport PUblic de personnes
ACCR Accident Corporel de la Circulation Routière
ACTIMAF ACTIvités MAFieuses
ADSL Application Demande et Suivi des Loiciels
@ColinMaudry
ColinMaudry / mar-basique-modifications.json
Last active September 28, 2019 14:30
Exemple de marché public (JSON)
{
"id": "2010345211201",
"acheteur": {
"id": "21350238800019",
"nom": "Ville de Rennes"
},
"nature": "Accord-cadre",
"objet": "Entretien des jardins municipaux",
"codeCPV": "77313000",
"procedure": "Marché négocié sans publicité ni mise en concurrence préalable",
@ColinMaudry
ColinMaudry / 214439_2019.xml
Last active September 2, 2019 17:44
TED XML data samples
<?xml version="1.0" encoding="UTF-8"?>
<TED_EXPORT xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://publications.europa.eu/resource/schema/ted/R2.0.9/publication" xmlns:n2016="http://publications.europa.eu/resource/schema/ted/2016/nuts" xsi:schemaLocation="http://publications.europa.eu/resource/schema/ted/R2.0.9/publication TED_EXPORT.xsd" VERSION="R2.0.9.S03.E01" DOC_ID="214439-2019" EDITION="2019090">
<TECHNICAL_SECTION>
<RECEPTION_ID>19-214377-001</RECEPTION_ID>
<DELETION_DATE>20190705</DELETION_DATE>
<FORM_LG_LIST>DA DE EN ES FI FR EL IT NL PT SV CS ET HU LT LV MT PL SK SL GA BG RO HR </FORM_LG_LIST>
<COMMENTS>From Convertor</COMMENTS>
</TECHNICAL_SECTION>
<LINKS_SECTION>
<XML_SCHEMA_DEFINITION_LINK xlink:type="simple" xlink:href="http://ted.europa.eu" xlink:title="TED WEBSITE"/>
@ColinMaudry
ColinMaudry / extension.json
Created May 15, 2019 23:04
Test OCDS extension
{
"name": {
"en": "Contact point identifier",
"fr": "Identifiant du point de contact",
"es": "identificación del punto de contacto"
},
"description": {
"en": "Addition of an identifier to the ContactPoint block",
"fr": "Ajout d'un indentifiant au bloc ContactPoint",
"es": "Adicición de una identificación al objeto ContactPoint"
@ColinMaudry
ColinMaudry / boamp-context.jsonld
Last active January 23, 2018 15:44
Conversion des données XML du BOAMP vers JSON-LD
{
"@context": {
"@vocab": "https://data.maudry.com/rdf/boamp#",
"boamp": "https://data.maudry.com/voc/boamp#",
"dct": "http://purl.org/dc/terms/",
"rdf": "http://www.w3.org/1999/02/22-rdf-syntax-ns#",
"rdfs": "http://www.w3.org/2000/01/rdf-schema#",
"xsd": "http://www.w3.org/2001/XMLSchema#",
"attributions": "https://boamp.maudry.com/attributions/",
"appeloffres": "https://boamp.maudry.com/appeloffres/",
@ColinMaudry
ColinMaudry / 0-source.csv
Last active October 4, 2017 00:14
Étapes de transformation du CSV des marchés publics bretons vers le format JSON réglementaire (jq 1.5)
We can make this file beautiful and searchable if this error is corrected: No commas found in this CSV file in line 0.
Nmarché;SIRETMandataire;LibelleEntiteMandataire;SIRETAcheteur;LibelleAcheteur;Nature;Objet;CodeCPV;Type ;Procedure;CodePostalCommuneExecution;NomCommuneExecution;CodeINSEEExecution;GranulariteINSEEExecution;MillesimeMandatement;DateNotification;Montant mandate TTC;Montant mandate HT;Montant attribue TTC;Montant attribue HT;Date de cloture;Duree;SIRETContractant;DenominationSociale;Role;CodePostal;Dpt ID ;Département;Commune;Taille;Taille des entreprises par categorie officielle;Code NAF;Libelle NAF;Libelle SBA;Libelle CCI;geolocalisation
2013-90006;;Région Bretagne;;;;PBF Formation qualifiante 2013 Monteur en construction bois lot 4;;Services;MAPA - art 30 - au dessus des seuils;35000;Rennes;;;2013;2013-10-01;245526;;245526;;;;300599123;AFPA DIRECTION REGIONALE BRETAGNE;Titulaire;35208;35;Ille-et-Vilaine;RENNES;10 000 et plus;Grande entreprise;8559;ENSEIGNEMENT;Administration publique/enseignement;Tertiaire non marchand;
2013-90144;;Région Bretagne;;;;Dispositif de formations : Compétences clés 2013 - Lot 1;;
@ColinMaudry
ColinMaudry / 0-source.csv
Last active October 3, 2017 23:47
Étapes de transformation du CSV des marchés publics bretons vers le format JSON réglementaire (XSLT 3.0)
We can make this file beautiful and searchable if this error is corrected: No commas found in this CSV file in line 0.
Nmarché;SIRETMandataire;LibelleEntiteMandataire;SIRETAcheteur;LibelleAcheteur;Nature;Objet;CodeCPV;Type ;Procedure;CodePostalCommuneExecution;NomCommuneExecution;CodeINSEEExecution;GranulariteINSEEExecution;MillesimeMandatement;DateNotification;Montant mandate TTC;Montant mandate HT;Montant attribue TTC;Montant attribue HT;Date de cloture;Duree;SIRETContractant;DenominationSociale;Role;CodePostal;Dpt ID ;Département;Commune;Taille;Taille des entreprises par categorie officielle;Code NAF;Libelle NAF;Libelle SBA;Libelle CCI;geolocalisation
2013-90006;;Région Bretagne;;;;PBF Formation qualifiante 2013 Monteur en construction bois lot 4;;Services;MAPA - art 30 - au dessus des seuils;;;;;2013;2013-10-01;245526;;245526;;;;300599123;AFPA DIRECTION REGIONALE BRETAGNE;Titulaire;35208;35;Ille-et-Vilaine;RENNES;10 000 et plus;Grande entreprise;8559;ENSEIGNEMENT;Administration publique/enseignement;Tertiaire non marchand;
2013-90144;;Région Bretagne;;;;Dispositif de formations : Compétences clés 2013 - Lot 1;;Services;MA