Plusieurs travaux d’évaluation concernant les mesures introduites par la réforme 2019-2021 d’assurance chômage, décidée à l’époque par le gouvernement, viennent d’être publiés. Comment s’inscrivent-ils dans les missions de l’Unédic ?
Lara Muller : Notre rôle est d’éclairer les partenaires sociaux. Pour cela, nous réalisons des études descriptives de tous les bénéficiaires de l’Assurance chômage. Cela permet de comprendre qui sont ces personnes, d’où elles viennent, combien de temps elles restent au chômage… Nous produisons également des prévisions financières des dépenses et des recettes de l’Assurance chômage, afin de guider la stratégie financière décidée par les partenaires sociaux et d’assurer le versement des allocations tous les mois. Nous réalisons des simulations et des chiffrages des impacts potentiels des règles, en particulier en période de négociation : cela permet de savoir, en cas de changement de règle, combien de personnes sont concernées, avec quelle ampleur, quelles sont les conséquences financières et à quelle vitesse tout cela se produit. Enfin, nous menons également, depuis une dizaine d’années, des travaux d’évaluation pour apprécier les résultats des réglementations mises en œuvre. L’objectif est d’identifier et de mesurer l’effet propre d’une mesure, en l’isolant de ceux qui peuvent être liés à la conjoncture ou à d’autres facteurs.
Quelles sont les spécificités de l’approche évaluative par rapport aux autres méthodes que vous utilisez ?
On évalue les effets d’une mesure au regard de ses objectifs. Pour cela, on recourt à des méthodes économétriques d’évaluation causale, qui sont assez puissantes. Souvent, ces méthodes reviennent en quelque sorte à effectuer un « zoom » sur un moment donné ou sur un seuil précis, pour pouvoir comparer par exemple des personnes qui se sont inscrites juste avant la date d’entrée en vigueur d’une mesure avec des personnes qui se sont inscrites juste après. On peut ainsi constituer deux groupes aux caractéristiques proches, à une seule différence près : l’un est concerné par la mesure, l’autre ne l’est pas. Si on constate des différences dans leurs parcours, on peut les attribuer à la mesure.
La difficulté : identifier des populations comparables
Quelles sont les limites de ces méthodes d’évaluation causale ?
La vraie difficulté, c’est bien souvent d’identifier des populations qui soient comparables sans être concernées par la même mesure : il y a des mesures qui s’appliquent à tout le monde, parfois plusieurs mesures qui s’enclenchent en même temps… Dans de tels cas, on ne peut pas comparer les personnes concernées à d’autres pour savoir ce qui se serait passé en l’absence de la mesure. En outre, il est parfois impossible de généraliser les résultats, car en zoomant, on n’est pas en mesure d’observer les effets sur les personnes qui ont par exemple été concernées par la mesure à un autre moment ou qui sont plus loin du seuil et ont d’autres profils.
Pour bien interpréter les résultats, il faut tenir compte des conditions de mise en œuvre d’une mesure
Quelles ressources sont nécessaires pour réaliser des évaluations de qualité ?
Pour évaluer une mesure, il faut un certain recul temporel. D’abord parce qu’il faut que la mesure concerne suffisamment d’allocataires ; il faut aussi qu’elle produise ses effets, qui peuvent parfois ne se manifester qu’après un délai. De plus, les changements de comportement des personnes concernées ne sont pas instantanés. Enfin, il faut du temps pour obtenir des données fiables, et encore du temps pour analyser et consolider les résultats. L’autre élément clé, ce sont les données. A l’Unédic, nous disposons de données administratives de qualité, mais qui ne suffisent pas toujours à retracer les parcours de long terme des allocataires, ni ne nous renseignent sur les motivations des personnes.
Des méthodes variées et complémentaires
Justement, dans les travaux diffusés par l’Unédic, les analyses causales ne sont pas publiées seules. D’autres méthodes, comme des enquêtes quantitatives ou qualitatives sont également mobilisées. Pourquoi ?
Une évaluation de qualité se doit de croiser les regards : elle se base sur des méthodes variées et complémentaires. Par exemple, pour bien interpréter les résultats, il faut tenir compte des conditions de mise en œuvre d’une mesure. Comment est-elle portée par l’institution qui l’a introduite ? Les personnes ou les entreprises sont-elles bien informées de son existence ? Autant d’éléments impossibles à saisir dans les données administratives, mais qui peuvent être identifiés à travers des enquêtes. Autre point important : il ne faut pas seulement mesurer l’effet que l’on cherche à repérer, mais également identifier les mécanismes par lesquels il se manifeste. Prenons par exemple une mesure qui accélère l’accès à l’emploi : est-ce parce que les personnes acceptent des emplois qu’elles auraient refusé sans la mesure ? Est-ce parce qu’elles ont intensifié leur recherche d’emploi ? Font-elles plus ou moins de concessions ? Si l’on ne saisit pas ces mécanismes – économiques, psychologiques, administratifs… – on ne peut pas tirer d’enseignements sur l’efficacité d’une mesure.
A qui et à quoi peuvent être utiles les résultats des évaluations publiées par l'Unédic ?
Tous nos travaux visent à apporter aux partenaires sociaux, qui pilotent l’Assurance chômage, les informations dont ils ont besoin en amont et aval de leurs prises de décisions. Ils peuvent utiliser les évaluations pour guider leurs réflexions sur d’éventuelles évolutions de la réglementation qu’ils souhaiteraient mettre en place. Ces résultats éclairent également le débat public, en livrant des éléments objectifs sur les effets des mesures étudiées.
