Mesure d’Impact des politiques publiques - Mesurer l’impact des actions d’insertion liées au revenu de solidarité active (RSA)

Les objectifs :  Mesurer l’impact des actions d’insertion du RSA d’un département

D’importants moyens financiers sont consacrés à l’insertion sociale et professionnelle des bénéficiaires du RSA. En 2022, cela a représenté un total de 245,2 millions d’euros inscrits au budget du Département, malgré une réduction des financements de l’État pour le RSA.

Ainsi, en 2017, le département étudié a entrepris un projet d’évaluation de l’accompagnement des bénéficiaires du RSA. L’objectif de cette démarche était de quantifier l’impact des actions financées pour favoriser l’insertion sociale et professionnelle de ces derniers.

Dans cette optique, le département a fait appel à notre expertise pour concevoir un protocole d’évaluation d’impact, en vue d’orienter les méthodes d’accompagnement à l’emploi sur le territoire. Notre mission a consisté à évaluer l’efficacité de trois programmes d’accompagnement innovants par rapport à la situation actuelle de l’ensemble des allocataires du RSA. Les programmes évalués étaient de natures différentes (allant de la plateforme de mise en relation avec des emplois locaux, à un accompagnement similaire à celui des incubateurs, en passant par un service de coaching plus traditionnel).

Les challenges :  Élaborer un protocole robuste pour mesurer l’impact des programmes d’insertion

Le principal défi consistait à définir un protocole de mesure d’impact fiable qui tienne compte des réalités pratiques. Du cadrage de la mesure d’impact à la spécification des données nécessaires et la mise en œuvre opérationnelle, plusieurs défis sont apparus :

• Biais de sélection : Éviter tout biais de sélection qui pourrait biaiser les résultats de l’évaluation était d’une importance capitale. Nous devions nous assurer que les participants au programme ne présentaient pas de différences fondamentales par rapport aux autres personnes impliquées dans l’évaluation.
• Taille de l’échantillon et limites de l’opérateur : Compte tenu du fait que nous devions évaluer 450 bénéficiaires du RSA répartis sur trois programmes, la taille réduite de chaque échantillon posait des difficultés en termes de validité statistique et de représentativité.
• Conception expérimentale parallèle : Isoler les échantillons de traitement pour l’évaluation des programmes individuels compliquait la gestion et la comparaison des données.
• Facteurs situationnels complexes : L’étude devait prendre en compte une variété de situations, ce qui ajoutait de la complexité à l’analyse.

Notre solution :  Optimiser le protocole de mesure d’impact et réduire les biais de sélection

L’étude s’est déroulée sur un territoire de 15 communes et 278 000 habitants. Quatre groupes d’allocataires du RSA ont ensuite été constitués. Parmi ces quatre groupes, un groupe de contrôle était composé de personnes tirées au sort et bénéficiant d’un accompagnement classique dans le cadre du programme départemental d’insertion.

• Cadrage : Dans un premier temps, nous avons clairement défini les objectifs de l’expérimentation et les contraintes opérationnelles imposées par le conseil départemental, en établissant des critères d’évaluation précis. Nous avons également précisé les données nécessaires à la mesure de l’impact, détaillé leur collecte et souligné les limites de l’étude.

• Optimisation du protocole : Tout au long du projet, nous avons optimisé le protocole en tenant compte de divers éléments critiques, tels que la différenciation entre les personnes accompagnées et non accompagnées, ainsi que l’évaluation de la pertinence de la segmentation. Afin de minimiser les biais de sélection, nous avons comparé les résultats des participants au programme à ceux du groupe de contrôle en utilisant un estimateur de Wald. Cette approche visait à garantir une évaluation impartiale, indépendamment de la décision de l’individu de participer ou non au programme.

• Suivi périodique et coordination : Les mesures ont été prises à des intervalles réguliers (6, 12, 18 et 24 mois), impliquant une coordination étroite avec le conseil départemental pour le transfert de compétences. Des analyses de données ont ensuite été effectuées tous les six mois afin de fournir des instantanés périodiques de la situation professionnelle des participants.

Les résultats :  Des informations précieuses pour orienter l’allocation des ressources dans le département

Après 18 mois, les résultats agrégés ont révélé qu’un des organismes accompagnant présentait une légère supériorité en matière de promotion de l’emploi par rapport au groupe témoin. Cette différence, bien que modeste, a apporté de précieuses indications pour orienter les décisions prises par le conseil départemental.

Le conseil départemental a désormais pleinement intégré l’évaluation et l’analyse d’impact dans sa gestion du RSA et sa politique d’insertion. Cela lui a également permis d’optimiser l’allocation des ressources en faveur de solutions plus efficaces, tout en maintenant un contrôle permanent de leur pertinence pour les personnes bénéficiant de ces programmes.