Lever les obstacles à l’évaluation des politiques publiques

Pierre Bauby

L’évaluation des politiques publiques devient par petites touches successives un élément incontournable de l’agenda politique et institutionnel (Perret, 2014). Le Conseil d’Etat vient d’ailleurs de lui consacrer son rapport annuel 2020, « Conduire et partager l’évaluation des politiques publiques ».

Le rapport met l’accent sur le « développement plus tardif [en France] que dans d’autres pays, alors même que la « circulaire Rocard du 23 février 1989 relative au renouveau du service public » (Viveret, 1989) soulignait qu’ « Il ne peut y avoir ni autonomie sans responsabilité, ni responsabilité sans évaluation, ni évaluation sans conséquence » et que L’article 24 de la Constitution dispose, depuis la révision constitutionnelle du 23 juillet 2008 que « Le Parlement vote la loi. Il contrôle l’action du Gouvernement. Il évalue les politiques publiques ».

Le Rapport du Conseil d’Etat comporte de nombreuses analyses, piste et 20 propositions, mais il ne fait qu’effleurer certains des obstacles qui sont à la racine de ce constat.

Il souligne ainsi « la place prépondérante de l’exécutif et des administrations dans l’évaluation en France » et souligne que « trop souvent encore, la hantise de la critique, ou d’une évaluation perçue comme un contrôle porteur de menaces, peut conduire à éviter l’évaluation ou à privilégier des travaux qui ne sont pas de véritables évaluations (en termes de processus et de méthode) et qui ne donneront pas lieu à publication. La peur du jugement, qui peut nous marquer dès l’éducation, peut être un frein puissant à la réalisation ou même à la diffusion de l’évaluation. Des travaux de sociologie ont ainsi montré la prégnance de la perception du risque politique, qui l’emporte le plus souvent sur l’attente d’un satisfecit ».

Cette contribution vise à tenter, sur la base de la participation de l’auteur à de nombreux travaux et recherches empiriques conduits au cours des 20 dernières années en France et au niveau de l’Union européenne et consacrés en particulier à l’évaluation des services publics (Bauby,2001), de recenser et d’esquisser l’analyse des principaux obstacles qui concourent à cette difficile émergence de l’évaluation des politiques publiques en France.

 

Quels obstacles ?

Toute une série d’éléments concourent au faible développement de l’évaluation des politiques publiques en France, qui demandent à être appréhendés et analysés (Gaxie, Laborier, 2003), pour chacun, comme pour leurs relations et au système qu’ils forment ainsi :

 

1/ Quels objectifs ?

L’évaluation de toute politique publique vise à mesurer ses résultats au regard des objectifs qui ont amené à sa définition. Même si elles font souvent l’objet de projets de loi, ni ceux-ci, ni leurs exposés des motifs ne définissent toujours clairement les objectifs qui permettraient de déterminer des catégories d’évaluation, qui peuvent être très larges ou beaucoup plus ciblées selon les cas, et des indicateurs pertinents.

Surmonter cet obstacle implique de construire ou de reconstruire le « logiciel » qui avait prévalu lors de la définition de la politique publique, ou, à tout le moins, de faire des hypothèses qui demanderont à être clairement précisées.

 

2/ Les données

La difficulté tient ensuite à l’existence et à l’accès aux données, à leur fiabilité et à leur suivi temporel, sur lesquelles l’évaluation doit s’appuyer. Cela recouvre également de possibles enjeux de confidentialité de ces données dans un monde marqué par la compétition entre les acteurs.

Les données comptables et financières étant souvent les plus accessibles, le risque est de les privilégier sur toute autre information pourtant essentielle pour évaluer une politique publique Ainsi, existe un primat des données comptables.

Cette difficulté implique de dresser une liste précise d’indicateurs et de définir les responsabilités de collecte et de mise à jour des données. Dans les cas de confidentialité, cela peut supposer d’agréger des indicateurs.

 

3/ Les moyens

L’évaluation a un coût qui n’est pas toujours programmé, ni financé.

En même temps c’est un « investissement » car elle permet une meilleure efficacité et efficience de la politique et de l’action publique. Il s’agit donc de prendre en compte les moyens financiers, humains, d’expertises, dont chaque évaluation doit disposer pour garantir la qualité de l’évaluation. L’évaluation, ses objectifs, ses principales modalités et son financement doivent donc être prévus et décidés dès la définition de toute politique publique, dès les études d’impact (CESE, 2019).

 

4/ Un monopole de l’intérêt général ?

Les responsables politiques et les élus se considèrent souvent comme les seuls aptes à définir l’intérêt général et, donc, les politiques publiques qui sont censées le promouvoir ; développer des procédures autonomes d’évaluation reviendrait à les suspecter de ne pas être capables d’assumer leurs responsabilités.

Les responsables politiques doivent avoir leur place, toute leur place, mais rien que leur place dans la mise en œuvre de l’évaluation. S’ils sont responsables des choix et arbitrages de définition des politiques publiques, ils ne sauraient ni s’autoévaluer, ni confisquer l’évaluation, ni en avoir le monopole. Il convient de prévenir toute forme de conflit d’intérêts.

 

5/ Les responsables et administrateurs

Les responsables des administrations ou des entreprises qui rendent ou effectuent la mise en œuvre d’une politique publique peuvent mettre en avant le fait qu’ils sont les seuls à en maîtriser la complexité, les contraintes et possibilités ; ils soulignent fréquemment qu’ils ne peuvent être évalués que par leurs pairs.

Là aussi, les administrateurs doivent avoir toute leur place, mais rien que leur place. Ils disposent de connaissances, d’informations et d’expertises supérieures à toutes les autres parties prenantes. Mais ils ne doivent pas abuser de ces asymétries et il faut limiter toute forme de capture.

 

6/ Les personnels et organisations syndicales

Souvent aussi, les personnels des services administratifs ou des entreprises qui prestent le service soit ne sont pas sollicités à participer à l’évaluation, soit estiment que les citoyens et utilisateurs ou la société civile sont moins bien placés qu’eux pour mesurer les effets des politiques publiques et apprécier ce que sont leurs besoins réels des habitants concernés.

En fait, il ne s’agit pas d’opposer les connaissances de chacun des types d’acteurs concernés, mais de les conjuguer, non pour prétendre avoir des connaissances exhaustives et complètes – ce qui ne peut jamais être la cas -, mais de s’en approcher au mieux.

 

7/ La complexité

Les uns et les autres acteurs mettent souvent en avant la complexité de l’évaluation, qui doit prendre en compte tout à la fois l’accessibilité et la relation de service, les prix et la qualité, l’ensemble des externalités, positives comme négatives, etc. Ces enjeux amènent souvent à concentrer l’évaluation sur quelques spécialistes, qui conduisent alors à une « évaluation de l’entre-soi ». Ainsi, existe un risque de confiscation, compte tenu des caractéristiques spécifiques françaises, par la Haute fonction publique, les grands corps, la Cour des comptes, les énarques[1] … Les rapports entre expertise et démocratie débouchent bien souvent sur des méfiances ou défiances.

Bien loin d’être un obstacle à la prise en compte de la complexité, la participation de la pluralité des parties prenantes au processus d’évaluation est une opportunité, car chacun connaît et porte des bribes des réalités, dont l’entrechoc est nécessaire. Le pilotage de chaque évaluation doit associer toutes les parties prenantes, afin qu’aucune ne puisse confisquer le processus, son déroulement et ses résultats. A la manière du « droit de tirage citoyen » évoqué par le rapport Expertise et démocratie,  faire avec la défiance (France Stratégie, 2018), on pourrait concevoir que chaque partie prenante dispose ainsi d’un « droit de tirage ».

 

8/ Le temps long

L’évaluation des politiques publiques relève du temps long, alors que les politiques elles-mêmes ont des agendas fort différents, liés en particulier aux rythmes électoraux.

Là encore, il ne s’agit pas d’opposer ces enjeux, mais de la faire se compléter, chacun conservant son autonomie dynamique. De ce point de vue, la proposition du rapport du Conseil d’Etat (n°17) de « favoriser l’évaluation ex ante des programmes électoraux lors des principales échéances électorales » apparaît inadaptée.

 

9/ L’opérationnalité

Finalement, à quoi sert l’évaluation ? Quelles conséquences en sont-elles tirées ? Sont-elles en relation avec les responsabilités de chacun ? Est-ce que les décideurs politiques ont une réelle volonté d’évaluation, ou n’est-ce qu’un exercice imposé par l’« air du temps » ? D’où la question lancinante de nombreux acteurs : à quoi bon évaluer, si cela ne sert pas à grand chose ?

L’évaluation des politiques publiques n’est ni la recette-miracle pour régénérer la démocratie et la participation démocratique, ni un outil pour étouffer les débats et opinions différentes. C’est un moyen pour permettre d’appréhender les véritables enjeux  et de les traiter démocratiquement (Nioche, 2016). C’est une dynamique indispensable pour refonder l’action publique et lui redonner légitimité (Rosanvallon, 2008).

 
Une dynamique d’évaluation

Pour dépasser ces difficultés, ces inerties ou ces blocages, il semble décisif d’engager une dynamique progressive, une « culture » (CESE, 2015), permettant de montrer que l’évaluation régulière permet de dégager des pistes de progrès, de meilleures politiques, plus efficaces et efficientes.

L’évaluation est un outil, un incitateur pour mesurer les résultats accomplis, l’amélioration – ou non – de chaque service et de sa performance sur cet axe.

Elle ne doit viser ni à comparer les situations- qui par nature sont différentes et non comparables -, ni à classer les résultats des différents opérateurs, ou des autorités. Elle est d’autant plus pertinente et utile qu’elle permet de rendre compte des évolutions – positives ou négatives – dans le temps pour chaque service.

L’évaluation doit être conduite sous le pilotage et la responsabilité de chaque autorité publique.

Mais elle peut être de type technique ou administratif, menée par l’autorité de haut en bas, ou chercher à s’appuyer sur les différentes catégories d’acteurs, plus ou moins participative et démocratique.

L’évaluation doit elle-même être construite et dimensionnée en fonction d’un rapport coûts/bénéfices, en la proportionnant aux réalités.

La performance n’est pas un absolu, qui relèverait d’une appréciation binaire (oui ou non, 0 ou 1), mais se mesure avec un curseur sur un axe qui va de la situation de départ à l’objectif défini par l’autorité publique.

On peut procéder à des évaluations ex-post, pour analyser les résultats, ou ex-ante (études d’impact des effets prévisibles de réformes).

Il faut aussi distinguer l’efficacité (les résultats par rapport aux objectifs) et l’efficience (les résultats au regard des moyens).

En même temps, les besoins, attentes et aspirations des différents acteurs ne sont pas les mêmes et chaque catégorie peut avoir ses propres critères d’évaluation et ses appréciations de la performance.

Il n’y a donc pas UNE performance, mais plusieurs types qui peuvent se compléter et s’enrichir.

L’évaluation ne peut être que plurielle.

 
Catégories d’évaluation et indicateurs

Ces éléments permettent de dégager de possibles catégories pour l’évaluation.

  1. L’organisation de l’expression des besoins des citoyens et utilisateurs et l’adaptation à ceux-ci

  2. La prise en compte et l’adaptation aux disparités géographiques

  3. La réponse aux attentes sociales

  4. L’adaptation aux aspirations culturelles

  5. La prise en compte des préférences des citoyens et utilisateurs

  6. La qualité

  7. La sécurité

  8. L’accessibilité géographique, sociale, temporelle

  9. Le caractère abordable dans le cas d’un besoin de financement

  10. L’égalité de traitement des citoyens

  11. L’accès universel

  12. Les droits des citoyens et utilisateurs

  13. La solidarité et la cohésion

  14. Les investissements

Pour chacune de ces catégories, pour chaque politique publique et pour chaque niveau d’organisation, l’enjeu consiste à essayer de définir des indicateurs pertinents, réalistes et robustes, quantitatifs ou qualitatifs, et d’outils de conduite (allant de données aisément quantifiables à toutes les formes de participation démocratique, en passant par des focus groupes ou des panels suivis) permettant de rendre compte des évolutions dans le temps, en fonction des missions et objectifs, afin de construire des grilles d’évaluation aussi complètes – et réalistes - que possible.

 

Exemples de pistes pouvant permettre de construire des indicateurs

A décliner et préciser pour chaque type de politique publique

  • L’organisation de l’expression des besoins des utilisateurs et de leurs évolutions

  • Le traitement des plaintes et des recours et leur restitution

  • L’adaptation aux spécificités territoriales

  • La qualité du service

  • L’accessibilité physique, territoriale et pour les personnes en situation de handicap

  • L’intégration des externalités positives et la minimisation des externalités négatives

  • L’égalité de traitement de chaque catégorie d’utilisateurs

  • Le processus d’universalisation

  • L’utilisation du numérique et le traitement de la fracture numérique

  • Les « rendus de compte »

  • La participation à la cohésion (péréquations, fonds de solidarité, …)

  • Les investissements de renouvellement

  • Les investissements de modernisation et de préparation de l’avenir

 
Des évaluations plurielles

Ainsi, bien loin d’avoir un « modèle » unique d’évaluation, une sorte de « boite à outils » qu’il suffirait de déployer à chaque occasion, il semble que la clé pour surmonter les obstacles qui freinent et limitent la mise en œuvre en France de l’évaluation des politiques publique tienne en une démarche visant à développer le pluralisme.

Pluralisme des :

  • modes,

  • critères,

  • niveaux,

  • parties prenantes,

afin de promouvoir des évaluations multi-niveaux, multi acteurs et multi-temporelles.

 

 

Repères bibliographiques

P. Bauby, 2001, Evaluer les performances des services d’intérêt économique général Rapport CEEP-CIRIEC pour la Commission européenne

CESE, 2015, N. Mansouri-Guilani, Promouvoir une culture de l’évaluation des politiques publiques

CESE, 2019, J.-L. Cabrespines, Étude d’impact : Mieux évaluer pour mieux légiférer.

Conseil d’Etat, 2020, Conduire et partager l’évaluation des politiques publiques, rapport annuel 2020, La Documentation française

France stratégie, 2018, Expertise et démocratie, faire avec la défiance

D. Gaxie, P. Laborier, 2003, « Des obstacles à l’évaluation des actions publiques et quelques pistes pour tenter de les surmonter », in P. Favre et al., Etre Gouverné, Presses de Sciences-Po.

J.-P. Nioche, 2016, « Les trois paradigmes de l’évaluation des politiques publiques face à l’obligation de rendre des comptes et de rendre compte », Revue française d’administration publique, 2016/4

B. Perret, 2014, L’évaluation des politiques publiques, La Découverte

P. Rosanvallon, 2008, La légitimité démocratique. Impartialité, réflexivité, proximité, Seuil

P. Viveret, 1989, L’Évaluation des politiques et des actions publiques – Propositions en vue de l’évaluation du revenu minimum d’insertion, La Documentation française

 

 

 

[1] Dans le rapport du Conseil d’Etat, l’ENA n’est évoquée que pour proposer de créer en son sein un « Centre de recherche de haut niveau » pour développer les compétences internes à l’administration (proposition n°4).

Association Services publics loi 1901

Réseaux Sociaux

  • Grey Facebook Icon
  • Grey Twitter Icon