Le financement de la Sécurité sociale

Mediapart - CICE : une évaluation biaisée

il y a 4 jours, par Info santé sécu social

Entré en vigueur en janvier 2013, le Crédit d’impôt pour la compétitivité et l’emploi coûte cher et son effet est assez réduit. Pourtant, dans son avis, le comité de suivi de cette mesure choisit les conclusions les plus favorables.

Le comité de suivi du Crédit d’impôt pour la compétitivité et l’emploi (CICE) a publié mardi 2 octobre son rapport 2018 (à trouver en onglet Prolonger). Ce sixième rapport d’évaluation, publié par France Stratégie, successeur du commissariat général au plan qui est sous la responsabilité de Matignon, est globalement décevant puisque les équipes n’ont pas eu accès aux données pour 2016. On s’en tient donc aux évaluations pour 2014 et 2015. De ce rapport, le comité de suivi a publié un avis qui, comme précédemment, « retient », concernant l’emploi, « un effet net qui serait proche de 100 000 emplois créés et sauvegardés qui se serait matérialisé sur 2014 et 2015 dans les entreprises les plus exposées au CICE ». Et d’ajouter qu’il « n’exclut pas que cet effet puisse être plus important en se référant aux résultats obtenus par une équipe, qui concerneraient les entreprises moyennement exposées au CICE ».

Cet avis sur l’emploi est donc globalement positif ou du moins présenté comme tel. Certes, le chiffre de 100 000 emplois en deux ans, financé par un soutien public de 36 milliards d’euros sur ces deux années, est en réalité très faible. Mais il semble suffisant pour mettre en avant un élément positif à une mesure que ce comité semble moins avoir à cœur d’évaluer que de défendre. Du reste, ce biais positif semble présent dans les autres points soulignés par les conclusions du rapport. L’effet sur les salaires moyens serait « robuste », mais le comité de suivi oublie de dire que les deux équipes de recherche ont de ce point de vue des visions divergentes : les uns identifient une hausse des bas salaires, les autres des salaires les plus élevés.

Le comité doit ensuite « constater » que « l’existence d’un effet significatif du CICE sur l’investissement demeure difficile à établir sur la période 2013-2015 ». En réalité, comme il est précisé juste après, il s’agit bien d’une « absence d’effet ». Mais le comité affirme qu’elle n’est « pas surprenante dans la mesure où les décisions d’investissement peuvent nécessiter du temps pour être mises en œuvre ». Enfin, le comité de suivi « prend note » de la création de 20 000 emplois supplémentaires en raison de l’effet sur la demande totale des créations d’emplois et de la hausse des salaires calculée par l’OFCE. C’est là encore fort peu, mais le communiqué parle d’une « vertu pédagogique » de ces résultats qui « soulignent l’importance qu’il y a à tenir compte d’un bouclage macroéconomique ». Mais vertueux ou importants, ces résultats n’en sont pas moins très faibles…

Tout cela tend à faire de cet avis du comité de suivi moins un avis qu’un moyen d’assurer une fragile justification du CICE. En entrant dans le détail du rapport, ce sentiment se renforce encore. Car la réalité de l’effet sur l’emploi du CICE semble plus complexe et nuancée que ce qu’en dit la conclusion du comité de suivi. Du reste, avant même ces conclusions, le comité de suivi doit reconnaître qu’il existe une « grande diversité de comportement des entreprises ayant bénéficié du CICE, si bien qu’il est difficile de capter un effet moyen ». Élégante manière de constater une incapacité à déterminer cet effet. Or, cette incapacité pose des questions fondamentales : comment justifier une mesure qui a coûté jusqu’à un point de PIB par un effet qu’il est impossible d’établir avec certitude ? Rappelons que sans le CICE, la France aurait économisé entre 2013 et 2019 plus de 100 milliards d’euros, soit 1,6 fois le déficit public de la France en 2017 et plus de 4 % de son stock de dette publique selon la comptabilité de Maastricht.

Pour évaluer l’effet de la mesure, le comité de suivi examine les travaux de deux équipes de recherche : l’équipe TEPP du CNRS et celle du LIEPP de Sciences-Po. Ces deux équipes utilisent des méthodes très différentes et obtiennent des résultats un peu différents. Celle du TEPP travaille sur le niveau d’exposition des entreprises au CICE. Elle divise donc en plusieurs catégories les entreprises selon ce niveau d’exposition (donc la part des salaires compris entre 1 et 2,5 Smic dans la masse salariale) en quatre quartiles et tente d’identifier des comportements liés au versement de ce crédit d’impôt. L’équipe LIEPP, elle, se concentre sur l’effet du CICE au sein d’un panel d’entreprises disposant de salaires proches de la limite de versement de la mesure afin d’identifier si cette dernière a ou non un effet incitatif.

La première méthode peut, en théorie, identifier des effets que la seconde ne pourrait pas prendre en compte dans la mesure où le CICE aurait un effet plus fort sur les entreprises les plus concernées. Mais pour cela, il faut s’assurer que les bonnes corrections soient mises en place car les entreprises les plus exposées au CICE n’ont pas les mêmes caractéristiques de productivité et de réponse à la demande que les autres. Ces corrections sont moins nécessaires pour la seconde méthode. C’est du reste ce que reconnaît très clairement le rapport du comité de suivi à sa page 18 : « Il est possible que la méthode de TEPP détecte un effet que le LIEPP ne peut pas identifier par sa construction, encore faut-il se convaincre que TEPP, en comparant des caractéristiques plus éloignées les unes des autres, corrige bien les différents biais possibles, a priori plus nombreux et plus importants. » Dès lors, « il est difficile de conclure sur la supériorité d’une méthode par rapport à l’autre ». Bref, les deux méthodes se valent. Sauf dans les conclusions du rapport…

Car seules les conclusions des équipes de TEPP sont citées dans l’avis du comité de suivi. Ce sont elles qui parviennent à la conclusion qu’il y aurait 85 000 emplois créés entre 2014 et 2015 grâce au CICE dans les entreprises les plus exposées, autrement dit dans le « quatrième quartile », celui des entreprises ayant le plus bénéficié du CICE. Et ce sont aussi leurs travaux qui peuvent prétendre aller encore plus loin dans l’effet sur l’emploi puisqu’elles prétendent pouvoir attribuer encore 170 000 emplois créés dans le deuxième quartile, donc dans des entreprises moyennement exposées au CICE. En revanche, les conclusions du LIEPP ne sont jamais évoquées par l’avis du comité de suivi. Il est vrai qu’il est peu flatteur pour le CICE puisque ces équipes sont parvenues à la conclusion que l’effet sur l’emploi de cette mesure est nul. Or, cette absence d’effet sur l’emploi n’est à aucun moment retenu par le comité de suivi comme digne d’être évoqué dans ses conclusions. Il faut se plonger dans le rapport pour en apprendre l’existence.

Évaluer tout en montrant la voie ?
C’est d’autant plus étonnant que le même comité de suivi a demandé, dans son rapport à l’Insee, de retravailler les données des deux équipes pour tenter de les « réconcilier ». L’institut a effectué ce travail selon deux méthodes : une méthode « non pondérée » de la taille des entreprises pour identifier les choix individuels liés au CICE et une méthode « pondérée » permettant de définir l’effet sur l’ensemble de l’économie. Or les conclusions de l’Insee laissent perplexes. En pondéré, les seuls résultats « positifs et significatifs » sont certes ceux de l’équipe TEPP mais ils sont inférieurs à ceux avancés par l’équipe (et non supérieurs) et l’Insee ajoute que « la modélisation retenue reste en partie insatisfaisante ». Bref, la prudence s’impose. En non pondéré, le retraitement de l’Insee laisse apparaître des effets « positifs et significatifs » pour les deux équipes. Sauf que « l’échec des tests placebos (…) suggère qu’ils ne seraient pas dus au CICE ». Cruelle conclusion qui ne sera pas retenue par le comité de suivi.

Le biais de ce comité apparaît également dans la précision donnée dans les conclusions selon laquelle « un effet plus important » sur l’emploi du CICE n’est pas à exclure par l’intermédiaire des résultats du deuxième quartile. Cette version est pourtant mise en doute par un des experts dans son compte rendu de la méthode TEPP puisque, comme le note le rapport, « cet effet n’apparaît pas dans toutes les spécificités et avec toutes les données utilisées ». Mais, surtout, ce fort effet sur le deuxième quartile semble contredit par le fait que le troisième quartile, qui bénéficie davantage que lui du CICE, ne créerait pas d’emplois. Autrement dit, cette méthode apporte des résultats contradictoires et, partant, discutables. Pourquoi alors avoir évoqué dans l’avis du comité de suivi cette possibilité en éludant les résultats du LIEPP ?

De façon significative, d’ailleurs, le comité de suivi n’a demandé à l’OFCE de travailler sur son modèle macroéconomique qu’à partir des résultats obtenus par l’équipe TEPP et non ceux de l’équipe LIEPP. Or ces résultats, nuls sur l’emploi, ne sont pas nuls sur les salaires (il est identifié un impact à la hausse sur les salaires les plus élevés) : le bouclage macroéconomique de cette mesure aurait également été utile. Mais tout se passe bien comme si une des conclusions était systématiquement préférée à l’autre.

Interrogé par Mediapart, France Stratégie répond (on trouvera en Boîte noire l’intégralité de ses réponses) que la « divergence apparente ne signifie pas toutefois que les conclusions que les équipes mettent en avant soient irréconciliables car elles dépendent in fine des choix de modélisations retenus ». C’est ce qui explique, selon cette institution, que le comité a « continué à privilégier l’approche de TEPP, dans la mesure où elle met en évidence que le quart des entreprises ayant le plus fortement bénéficié du CICE ont créé ou sauvegardé davantage d’emplois que les autres, ce que mesure la méthode de TEPP, alors que la méthodologie retenue par l’équipe LIEPP ne permet pas, par construction, de mesurer cet effet, s’il existe ». Mais, comme on l’a indiqué, cet effet ne traduit nullement un effet global sur l’économie qui est, à ce jour, impossible à prouver.

France Stratégie assure certes que le « comité a cherché à émettre l’avis le plus équilibré possible » et que cet avis a été adopté à l’unanimité. Mais la préférence pour la méthode TEPP, alors que les résultats de LIEPP sont totalement absents de cet avis, ne peut s’expliquer que par une préférence pour les résultats obtenus. Seules les conclusions les plus positives sont retenues dans l’avis du comité de suivi et, lorsque les conclusions des deux équipes sont négatives, comme sur l’investissement, le résultat en est relativisé. Cela doit amener l’observateur, à son tour, à s’interroger sur la valeur des conclusions des évaluations des politiques publiques. Il y a là une forme de manipulation du débat public qui bloque toute remise en cause de la valeur du CICE. Pourtant, le coût astronomique de cette mesure au regard de ses résultats mériterait un questionnement public.

Le gouvernement actuel a fait de l’évaluation la pierre angulaire de son action. Le groupe La République en marche à l’assemblée nationale a promis d’évaluer davantage les décisions prises. Bruno Le Maire, le ministre de l’économie et des finances, avait accepté d’évaluer les mesures de défiscalisation du capital (transformation de l’ISF en IFI et « flat tax » sur les revenus du capital). Alors que les dividendes devraient encore atteindre un niveau record malgré cette défiscalisation, on est en droit de se demander si ces évaluations seront sincères et capables de faire évoluer les décisions prises.

Le biais du comité de suivi amène également des doutes sur les nouvelles attentes affichées pour la baisse de cotisations qui remplacera le CICE dès le 1er janvier prochain. On attend encore 100 000 emplois supplémentaires créés d’ici 2022, ce qui est fort coûteux et, encore une fois, fort douteux. Les politiques de subventions publiques à la baisse du coût du travail semblent en réalité incapables de changer la donne économique du pays. La conclusion la plus sûre serait sans doute que là n’est pas le problème. Mais les décisionnaires semblent incapables d’accepter une telle conclusion. Ils entendent donc persister avec les mêmes recettes, quitte à biaiser un peu les résultats des expertises…


Pourquoi le comité de suivi a-t-il éludé les conclusions de l’équipe LIEPP dans son avis et n’a préféré citer que les résultats de l’équipe TEPP sur l’emploi ?

Les méthodes des deux équipes diffèrent notablement. À grandes lignes, les travaux de l’équipe TEPP comparent les créations d’emplois entre des groupes ayant entre eux des niveaux de salaires moyens très différents, alors que l’équipe LIEPP s’intéresse aux différences entre entreprises ayant des niveaux de salaires plus similaires, mais bénéficiant différemment du CICE. Ces différences de méthodes expliquent pour l’essentiel les différences de résultats.

Cette divergence n’est pas nouvelle : elle existe depuis le début des travaux des deux équipes et les travaux complémentaires engagés depuis lors n’ont fait que l’étayer, y compris ceux menés par une équipe tierce, de l’Insee, qui a cherché à mieux en comprendre leur origine (cf. pages 12 à 14 du rapport). Le travail de l’Insee a permis de montrer que chacune des équipes avait convenablement traité et interprété les données.

Cette divergence apparente ne signifie pas, toutefois, que les conclusions que les équipes mettent en avant soient irréconciliables car elles dépendent in fine des choix de la modélisation retenus. C’est ce qui est expliqué en détail page 18 du rapport.

Le comité a de nouveau insisté sur le fait que les divergences apparentes de résultats entre les deux équipes révèlent avant tout une très grande diversité de comportement des entreprises ayant bénéficié du CICE, si bien qu’il reste difficile de capter de façon univoque un effet moyen.

Au final, le comité a considéré que les nouveaux travaux menés sur l’année écoulée ne conduisaient pas à modifier fondamentalement les conclusions qu’il avait adoptées l’an passé. Il a continué de privilégier l’approche de TEPP, dans la mesure où elle met en évidence que le quart des entreprises ayant le plus fortement bénéficié du CICE ont créé ou sauvegardé davantage d’emploi que les autres, ce que mesure la méthode de TEPP, alors que la méthodologie retenue par l’équipe LIEPP ne permet pas, par construction, de mesurer cet effet s’il existe.

Pourquoi, sur ce même sujet, l’option haute de l’équipe TEPP a été évoquée alors que l’expert en charge du suivi de cette équipe émet des doutes sur la méthodologie menant à cette conclusion ?

C’est en effet le choix qui a été retenu par le comité, après discussion. Il l’a fait de façon prudente (page 33 du rapport) et il a assorti cette mention de demandes complémentaires pour éclairer l’option haute. Ce faisant, il indique bien que cette option n’est pas considérée comme la plus plausible au vu des travaux menés jusqu’à présent.

Pourquoi n’avoir demandé à l’OFCE que de réaliser un bouclage macroéconomique qu’à partir des résultats du TEPP ?

Dans les temps impartis, l’équipe OFCE ne pouvait pas multiplier les simulations. Le choix a été de privilégier comme « input » aux travaux de l’OFCE des résultats sur données microéconomiques faisant état d’un effet positif sur l’emploi, puisque cette hypothèse est celle qui continue à être considérée comme la plus vraisemblable par le comité.

Par ailleurs, l’exercice présenté par l’OFCE a surtout une vertu pédagogique visant à montrer comment intégrer des effets de bouclage. D’autres simulations seront envisagées.

Comment expliquer que seules les conclusions les plus positives sont retenues dans l’avis du comité de suivi ?

Le comité a cherché à émettre l’avis le plus équilibré possible, et nombre de commentateurs n’y voient pas de conclusions particulièrement positives. Cet avis a fait l’objet d’une discussion par les membres du comité et a été adopté à l’unanimité.