[Version française – english below]
« On a tous une bonne raison de ne pas faire d’évaluation [des politiques publiques] »
Dans les projets de développement durable sur les territoires (collectivités territoriales, communes, intercommunalités, agglomérations, etc.), on fait des tonnes d’actions, mais l’impact de celles-ci est très rarement évalué. En effet, on a tendance à vérifier la réalisation ou non des actions mais les territoires s’intéressent encore assez peu à observer et comprendre les transformations et les changements que celles-ci ont effectivement provoquées. Les démarches d’évaluation, dans les projets de territoires durables (mais pas seulement) sont donc souvent inexistantes. Pourquoi ? Parce qu’ « on a tous une bonne raison de ne pas faire de l’évaluation ».
« On n’a pas le temps », « on n’a pas les ressources », « l’élu en charge du projet n’est pas porteur de la démarche », « le chargé de mission qui a lancé le projet est parti », etc.
Il y a des tonnes de raisons pour ne pas faire de l’évaluation. Tantôt vraies, tantôt prétextes, tantôt surmontables, tantôt infranchissables, ces raisons ont pour résultat de ne pas faire de l’évaluation.
Longtemps, on a pensé que le manque d’évaluation était dû au manque de méthodologie et d’ou
tils. Des guides, outils, bonnes pratiques, modes d’emploi ont alors été élaboré. Or cela n’a pas vraiment changé les choses. Que faut-il faire alors ?
Strategic Design Scenarios et Quadrant Conseil, à l’initiative du Commissariat Général au Développement Durable ont décidé de travailler à un dispositif de « préchauffage de l’évaluation ». La logique est la suivante : si ce n’est pas un manque de techniques, d’outils et méthodes qui empêchent l’évaluation de se faire, qu’est-ce donc ? Il y a des raisons multiples, diverses et qui s’additionnent bien souvent. Cela résulte en un ensemble de conditions défavorables à la mise en place d’une démarche d’évaluation.
Le travail doit donc porter sur : l’identification du contexte actuel (quelles sont les raisons, qui aujourd’hui, chez moi, bloquent/limitent/empêchent la mise en place d’une démarche d’évaluation) et l’identification de tout un tas de trucs et astuces, de leviers pratiques et concrets à actionner pour permettre de rassembler un maximum de conditions favorables minimum pour se lancer dans l’évaluation. A la manière du préchauffage de votre voiture, vous devez, avant de vous lancer dans une longue route, vérifier les voyants qui s’allument sur votre compteur, vérifier l’état général de votre voiture. De la même manière pour les collectivités, il s’agit ici de vérifier l’état de la situation afin de se lancer (ou non d’ailleurs) dans une démarche d’évaluation dans les meilleures conditions de réussite.
A quoi ressemble ce dispositif de préchauffage ? Ce dispositif prend la forme d’un jeu de cartes de deux types : d’une part, des cartes « raisons » et d’autres part des cartes « leviers ». Ces cartes, tirées d’expériences réelles, vécues et inspirées des collectivités participant au groupe de travail, se présentent sous la forme de citations à propos de l’évaluation, formulées en langage parlé/naturel/direct tel qu’entendu au quotidien dans les services/administrations. Selon les modalités de jeu (plusieurs scénarios existent, du jeu à un seul joueur, au binôme, au petit groupe ou encore au grand groupe), les joueurs rassemblent les cartes raisons qu’ils jugent comme les plus fortes, pertinentes pour leur collectivité « ça, ça me fait écho, c’est vraiment comme ça chez moi », et cherchent à identifier l’ensemble des leviers qui permettent de soulever ces différentes « raisons pour ne pas faire de l’évaluation ».
Enfin, les joueurs sont amenés à analyser/discuter des cartes leviers au regard d’un certain nombre de questionnements : ce levier est-il actionnable à mon niveau ou à d’autres niveaux [hiérarchiques], ce levier est-il activable rapidement ou à long terme, l’impact pressenti de ce levier est-il plutôt faible ou bien fort, et enfin, ce levier réclame t-il beaucoup de ressources ou peu (et de quelle nature) ?
Ce processus, ludique, décalé et collectif, se veut être à la fois un objet de discussion sur l’évaluation, de partage des points de vue, de confrontation des perceptions, de convergences, et d’aide à la décision concernant la mise en place (ou non) d’une démarche d’évaluation.
Ce jeu a été co-créé avec plus d’une quarantaine d’acteurs des territoires (collectivités), d’acteurs ressources (Cerema, etc.), et d’acteurs de l’état (CGDD, DREAL, etc.) à travers des séries d’ateliers à Paris au CGDD, à Aix Métropole, à Choisy le Roi et dans 3 autres collectivités territoriales qui se sont prêtées au jeu pour tester le jeu.
Ce jeu a été lauréat, le 16 mars 2017, du Concours d’innovation publique Futurs Public 2017 lors de La Cousinade (évènement dédié à l’innovation publique) organisé par Futurs Public, le Laboratoire d’innovation publique de l’Etat, incubé par le SGMAP (Secrétariat Général de la Modernisation de l’Action Publique – Services du Premier Ministre).
Plus d’infos ici : http://www.sustainable-everyday-project.net/evalophobia/
[English version]
We all have a good reason not to evaluate [public policies]
In local sustainable development projects (local authorities, municipalities, intermunicipal associations, urban areas, etc.), tons of actions are carried out, but the impact of these actions is rarely evaluated. Indeed, there is a tendency to verify whether actions have been completed or not, but local administrations tend not to closely look at the transformations and changes that those actions have actually brought (in terms of behavioural change, environmental benefits, social cohesion, etc.). Evaluation approaches in projects of sustainable territories (but not only) are therefore often non-existent. Why ? Because « we all have a good reason not to evaluate ».
« We do not have the time », « we do not have the resources », « the elected official in charge of the project does not care », « the project manager who launched the project is gone », Etc. There are tons of reasons for not doing an evaluation. Sometimes true ones, sometimes pretexts and excuses, sometimes there are surmountable, sometimes less, but all those reasons result in one thing: let’s not evaluate. For a long time, it was thought that the lack of evaluation was due to the lack of methodology and tools. Guides, tools, good practices, instructions were then developed. But this hasn’t really made a difference. What should we do then? What’s blocking?
Strategic Design Scenarios and Quadrant Conseil, on the initiative of the General Commissariat for Sustainable Development decided to work on a process of « preheating of evaluation ». The logic is the following: if it is not a lack of techniques, tools and methods that prevent evaluation from being done, what is it? Well, there are many, diverse and complementary reasons that pile up and set unfavorable conditions to the implementation of an evaluation process.
The work must therefore focus on: identifying the current context (what are the reasons, today, in my case, block / limit / prevent the implementation of an evaluation process) and the identification of all the tricks and hints, practical and concrete levers to be activated to allow the building of a minimum set of favorable conditions that makes an evaluation process possible and meaningful. Similarly to the preheating system of your car, you must check all the lights on your dashboard and check the general condition of your car before taking your car for a long trip. In the same way for the local authorities, the idea is to first do a little check-up of the situation in order to decide to launch (or not for that matter) an evaluation process in the best conditions of success.
How does this preheating system look like? This « tool » takes the form of a set of cards of two types: on the one hand, « reasons » cards and on the other hand « levers » cards. These cards, inspired by field experiences, real stories from civil servants of the administrations participating in the working group, come in the form of quotations about evaluation, formulated in spoken / natural / direct language. Depending on how the game is played (multiple scenarios exist, from one-player game to pairs to small groups to large groups), players collect the cards they consider to be the most relevant cards for their administration « that speaks to me, it’s really like that at home » and try to identify all the possible levers which could help overcome those » reasons for not doing evaluation « .
Finally, players are asked to analyze / discuss the « levers » cards through a certain number of questions: is this lever operable at my level or at other levels [hierarchical], can this lever be activated quickly or in the long term, is the perceived impact of this leverage rather weak or strong, and lastly, does it require a lot of resources or little (and of what kind)?
This game-tool, which is playful, unusual and collective, is intended to be both an object of discussion on evaluation, an occasion for sharing points of view, confronting perceptions, and building convergences of views and understandings and a support for decision-making regarding the launching (or not) of an evaluation process.
This game was co-created with more than forty actors from territories (local authorities), resource/support actors (Cerema, etc.), and state actors (CGDD, DREAL, etc.) through series of workshops in Paris at the CGDD, Aix Métropole, Choisy le Roi and 3 other territorial administrations will soon test the [prototype version of the] game.
This game was awarded on the 16 of March 2017 by the Futurs Public Public Innovation Competition at La Cousinade (an event dedicated to public innovation) organized by Futurs Public, the Public Innovation Laboratory of the State, incubated By SGMAP (General Secretariat for the Modernization of Public Action – Prime Minister’s Office).
More info here : http://www.sustainable-everyday-project.net/evalophobia/