Convertisseur de données XML TOTEM ->CSV SCDL

Logo du défi

Depuis 2012, une forte incitation à la dématérialisation des actes budgétaires incite les collectivités locales à adopter le schéma XML Totem pour la transmission de leur budget à l’État. Actuellement quelques collectivités publient ces fichiers en Open data mais leur lecture n’est pas simple pour les ré-utilisateur.rice.s potentiel.le.s. Ces fichiers XML contiennent en effet plus d’informations que les seules informations budgétaires (emprunts, patrimoine, subventions, masse salariale) et les données sont associées à des nomenclatures difficiles d’accès pour des néophytes.

De plus pour certains établissements publics, il n’existe pas de norme comptable pour structurer les informations budgétaires dans un document Totem (par exemple les centres communaux d’action sociale).

Dans le double but de généraliser la libération des informations budgétaires dans un format normalisé et de fournir une information facilement accessible aux ré-utilisateur.rice.s, Open Data France a récemment publié un standard de publication des données essentielles des budgets des collectivités locales. Un standard international intitulé OpenSpending a été étudié à cette occasion mais il ne semblait pas convenir au besoins des collectivités locales françaises.

Pour les collectivités qui disposent déjà d’une chaîne de production et de transmission des actes budgétaires au format Totem, il serait utile de disposer d’un convertisseur Totem > SCDL-Budget (XML > CSV) de manière à leur simplifier le travail et de les inciter à l’adoption de ce standard de publication. Pour les autres, l’outil envisagé pourrait simplifier l’utilisation des plans de compte fournis par le ministère des finances. Un convertisseur Totem > OpenSpending pourrait également présenter de l’intérêt.

Objectifs :

  • généraliser l’adoption du référentiel de nomenclature budgétaire pour les libellés des articles, fonctions et comptes budgétaires des collectivités locales

  • inciter les collectivités locales à la publication de leurs données budgétaires en proposant un outil simple de conversion répondant au double objectif de libération et de pédagogie des données financières

  • améliorer la transparence et la réutilisation des données budgétaires

  • scdl_budget

  • convertisseur xml>Json

  • récupérer automatiquement plan de compte

Jeux de données utilisés

Besoins

  • data scientists
  • designers
  • développeurs
  • économistes

Je suis allé jeté un rapide coup d’œil sur le git du SCDL.
Quelques éléments m’étonnent par exemple sur l’exemple présenté comme “valide” :

  • les colonnes BGT_NATURE et BGT_CONTNAT semblent omettre les 0 en début de données. Ainsi, il y a des enregistrements “21” qui correspondent aussi bien au virement à la section d’investissement qu’aux immobilisations corporelles du chapitre “21”… Il manque un “0” devant le “21” du virement. Mêmes remarques pour les chapitre 023, 001, 002, 040, 041, 042, 043

  • idem pour la colonne BGT_FONCTION qui omet les 0 en début de code…

  • incohérences des intitulés des “LABEL” pour les fonctions et natures comptables… : une grande partie des BGT_NATURE_LABEL et BGT_FONCTION_LABEL sont erronés. Les BGT_FONCTION_LABEL sont des libellés de natures comptables et non de fonction. Les BGT_NATURE_LABEL sont des intitulés de chapitres budgétaires et non des natures comptables, etc…

  • on trouve aussi des incohérences dans les sections indiquées avec par exemple des comptes d’investissement 21 indiqués en section de fonctionnement ???

Plus généralement, je trouve que la diffusion des chiffres des “réalisations” via la diffusion des balances comptables est déjà une excellente chose. (il faudrait juste améliorer les balances avec présentations fonctionnelles en ajoutant un champs indiquant s’il s’agit d’un budget voté par fonction ou par nature).

Il est vrai qu’il ne s’agit que des données des comptes de gestion / administratifs et que la diffusion des données des budgets primitifs peut être une attente “politique”… Même si l’exploitation des données prévisionnelles présente à mon sens assez peu d’intérêt (plus intéressant de s’attaquer aux réalisations qu’aux promesses éphémères) surtout que leurs durées de vie sont assez courtes avec l’existence des Budgets Supplémentaires et des nombreuses décisions modificatives intervenant au cours de l’année.

Au mieux, le seul véritable intérêt serait d’évaluer les taux de réalisation entre BP et CA pour apprécier la sincérité, la qualité des prévisions budgétaires.

Mais je me pose alors la question de l’intérêt de faire autant d’efforts pour convaincre toutes les collectivités de diffuser ces infos “prévisionnelles” chacune dans leur coin selon un schéma commun alors que l’ensemble de ces données sont centralisées au niveau de l’Etat dans Hélios, et qu’une extraction globale sur les “prévisions budgétaires” pourraient être faites au niveau central comme c’est le cas pour les balances comptables (même si cela impliquerait une mise à disposition décalée dans le temps).

Le jeu en vaut-il la chandelle ?

Le véritable intérêt de l’exploitation des fichiers TOTEM serait probablement d’avantage l’exploitation des annexes budgétaires avec l’utilisation des données extra-comptables n’apparaissant pas dans les comptes (états d’emprunt, état des AP/CP, etc.).

Voila “My 2 cents” sur ce projet (ne pouvant finalement probablement pas me rendre au hackaton…)

C’est peut-être un problème à l’ouverture du fichier csv dans excel qui interprète la colonne comme nombre décimal au lieu de texte

Les contraintes sur les valeurs de ces colonnes n’empêchent en tout cas pas de faire figurer les 0 devant certains articles.

Ah je me suis peut-être mélangé les pinceaux entre les 2. Je vais vérifier dans les plans de compte fournis par le ministère.

Oui là c’est plutôt qu’en l’absence de données réelles j’ai fait du copier/coller sans souci de cohérence

Il l’ambition est la capacité à rendre compte et à comparer plus en détail les recettes et les dépenses des collectivités locales. La publication des balances comptables est une excellent chose mais elle n’offre pas le même niveau de précision.

C’est tout de même intéressant du point de vue transparence

Pour le moment Hélios, dans sa flamboyance absolue, se refuse à publier ces données renvoyant vers les autorités productrices. Elles produisent actuellement ces données et ont l’obligation de les transmettre de manière dématérialisée à la direction générale des collectivités locales. Il s’agit ici simplement de proposer un schéma simple des données essentielles suffisant pour que les citoyen.nes, journalistes ou experts financiers puissent jouer avec.

C’est vrai, c’est une mine d’information mais on peut faire de belles choses avec les données financières (voir les exemples de datavisualisation)

Merci pour votre intérêt et ces remarques utiles.

https://datafin.gitlab.io/totem/toc.html

1 J'aime

datafin.pdf (1,3 Mo)

Bonjour @pascal-romain. Pour info, chez l’Ouvre-boîte nous nous intéressons au sujet depuis 2018 et nous venons d’attaquer le ministère de l’intérieur devant le tribunal administratif pour leur refus de nous communiquer ces données.

Bonjour @abc. J’étais au courant qu’il y avait une demande en cours mais je ne savais pas où elle en était ni si la CADA s’était prononcée sur son fondement ? Comme vous l’indiquez dans votre forum ces fichiers transitent maintenant vers le ministère de la cohésion des territoires vers la DGCL.

Il y avait dans mon groupe un des responsables de la DSI de la DGCL qui indiquait que la position du ministère était de ne pas se substituer aux collectivités locales qui produisent ces fichiers.
Espérons qu’avec ces actions les choses avancent.

Via Madada.fr j’ai fait plusieurs demandes à des conseils régionaux et celui des Hauts-de-France m’a répondu positivement

Du coup j’ai demandé la liste des collectivités locales qui à ce jour transmettent au ministère leurs fichiers TOTEM

A suivre donc :slight_smile: