Un guide (sceptique) aux institutions (1/3)

« Je commence une série de séances sur les institutions dans le cadre de mon cours sur la croissance et le développement. Par préférence révélée, pour ainsi dire, je prends au sérieux la littérature sur les institutions. Mais elle pose certains problèmes. [...]

Ce premier billet porte sur la littérature sur les institutions qui s’appuie sur des comparaisons entre pays (cross-country). La première génération de cette littérature [Mauro, 1995 ; Knack et Keefer, 1995 ; Hall et Jones, 1999 ; Easterly et Levine, 2003 ; Rodrik et alii, 2004 ; Acemoglu et Johnson, 2005] a régressé soit les taux de croissance, soit le niveau de revenu par habitant sur un indice de qualité institutionnelle avec d’autres contrôles. En général, ces travaux ont constaté que les institutions "importaient", c’est-à-dire que les indices étaient statistiquement significatifs dans les régressions et que la taille des coefficients indiquait de gros effets des institutions sur la croissance ou le revenu par habitant.

Ces résultats sont la preuve prima facie que les institutions sont un facteur fondamental des différences de niveaux de développement. [Ils] indiquent que même de petits changements dans les institutions ont un impact important sur le PIB par habitant. Nous aborderons dans un prochain article la question de savoir s'il s'agit de régressions bien identifiées. Pour l'instant, prenons simplement ces régressions telles qu'elles sont.

Le premier gros problème avec cette littérature est que tous les indices d’institutions qui sont utilisés sont de façon inhérente arbitraires et pourtant ils sont utilisés comme s’ils avaient une interprétation numérique stricte (cf. Hoyland et alii, 2012 ; Donchev et Ujhelyi, 2014). Le moyen le plus simple d’en parler est de prendre un exemple.

Prenons l’indice à 7 points pour la "contrainte sur l’exécutif" (constraint on the executive) utilisé par Acemoglu et Johnson dans leur article de 2005. 1 signifie "peu de contraintes" et 7 "beaucoup, beaucoup de contraintes". Il y a des définitions plus officielles de ces catégories. Elles viennent de la base de données Polity IV et je reconnais qu’elles sont codées par des personnes intelligentes et raisonnables. Je n’ai rien à redire sur la façon par laquelle chaque pays est codé. Les petites critiques à propos de la façon par laquelle nous classons les contraintes sur l’exécutif ne vont pas inverser les résultats des régressions qui les utilisent pour mesurer les institutions.

Mais l'Australie (7) a-t-elle sept fois plus de contraintes que Cuba (1) ? L'écart d'un point entre le Luxembourg (7) et la Corée du Sud (6) a-t-il une signification similaire à l'écart d'un point entre le Libéria (2) et Cuba (1) ? Utiliser cela comme une variable continue suppose que les valeurs de l'indice ont une signification réelle, alors qu'elles ne sont qu'un moyen de catégoriser les pays.

Que se passe-t-il donc si vous utilisez les scores de la contrainte sur l’exécutif simplement comme des variables catégorielles (c'est-à-dire muettes) plutôt que comme une mesure continue ? Vous constaterez que toute l'action provient de la catégorie des 7 (pays occidentaux développés) par rapport aux pays de la catégorie 1 (Cuba, Corée du Nord, Soudan et autres). C'est-à-dire que la variable muette sur le 7 indique que leur revenu par habitant est statistiquement significativement plus élevé que le revenu par habitant de la catégorie 1. Les pays avec des catégories 2, 3, 4 et 5 ne sont pas significativement plus riches que ceux du niveau 1 (en fait, on estime que les pays des catégories 2, 3 et 4 sont "plus pauvres" que les pays de la catégorie 1). Les pays de la catégorie 6 ont un revenu légèrement plus élevé que ceux de la catégorie 1. La conclusion est que le fait d'avoir des contraintes de style social-démocratie occidentale sur les dirigeants est ce qui est bon pour le revenu par habitant, mais les gradations de contraintes inférieures sont pour l’essentiel dénuées de sens.

Mais il y a un problème empirique plus fondamental dès lors que nous utilisons les contraintes sur l’exécutif pour catégoriser les pays. Les régressions sont stupides et elles ne se soucient pas de savoir si nous avons une interprétation particulière de nos catégories. Elles se contentent de charger toutes les différences de revenu par habitant sur ces variables catégorielles. La variable muette pour les pays de la catégorie 7 capture la différence de revenu moyen par habitant entre ces pays et les pays de la catégorie 1. Il pourrait y avoir (et il y en a certainement) un certain nombre de choses qui distinguent la Corée du Nord des États-Unis au-delà des contraintes sur l’exécutif et la variable muette capte également toutes ces choses. Même si je contrôle des facteurs supplémentaires (comme des variables géographiques, les niveaux d’éducation, etc.), nous ne pouvons pas contrôler tout, en partie parce que l’échantillon est si petit que nous ne pouvons pas inclure beaucoup de variables sans perdre tous les degrés de liberté. Empiriquement, la meilleure conclusion que je puisse tirer est que les social-démocraties de style occidental sont différentes des pays pauvres. C’était certain. Les contraintes sur l’exécutif peuvent jouer, mais nous ne pouvons pas le savoir avec certitude.

D’autres indices de gouvernance sont tout aussi mauvais. Les indicateurs de gouvernance de la Banque mondiale, qui sont couramment utilisés, comprennent des sous-indices de "gouvernance" (governance), de "responsabilité" (accountability) et de "voix" (voice). D’accord, mais… que dois-je faire avec cela ? Si vous me dites que la gouvernance est bonne en  Suisse et mauvaise en Ouganda, je serai d’accord avec vous, n’ayant aucune expérience spécifique sur laquelle je pourrai m’appuyer. Mais si je vous demande ce que vous entendez exactement par là, quelle sorte de réponse me donnerez-vous ? Ces indicateurs de gouvernance sont basés sur des enquêtes sur la perception de la qualité des institutions. Les institutions qui sont classées comme « bonnes » sont celles que l’on trouve dans les pays riches, car ce sont forcément de bonnes institutions, n’est-ce pas ? Ces mesures sont de façon inhérente endogènes.

Ce problème se pose même dans une certaine mesure pour les mesures modernes de la qualité institutionnelle, comme les indicateurs Doing Business. Ces derniers ont le mérite de mesurer quelque chose de tangible, notamment le nombre de jours nécessaires pour créer une entreprise par exemple, mais il n’est pas évident que ce nombre doive être pris en compte de façon linéaire dans une spécification. Passer de 146 à 145 jours pour créer une entreprise a-t-il le même effet que passer de 10 à 9 jours ? Pourquoi cela devrait-il être le cas ? Y a-t-il un seuil dont nous devrions nous préoccuper, comme par exemple faire passer le nombre de jours sous les 30 jours ? Et le simple fait de pouvoir mesurer le nombre de jours nécessaires à l’enregistrement d’une entreprise signifie-t-il que ce nombre est important ou qu’il constitue une « institution » ?

Lire la littérature empirique sur les institutions qui s’appuie sur les comparaisons entre pays, c’est comme regarder une analyse en studio des matchs de la NFL. Vous avez un groupe de personnes "dans le jeu" de l’économie assis autour de vous, qui font des déclarations irréfutables qui semblent plausibles, mais qui n’ont essentiellement aucun contenu. "Il a vraiment du nez pour le ballon". D’accord, mais que veux-tu dire par là ? Comment peut-on améliorer son flair pour le ballon ? Y a-t-il une machine dans la salle de musculation pour cela ? Le nez de tel joueur est-il meilleur que celui de tel autre ? Comment pouvez-vous le comparer ? "De bonnes institutions" équivaut à "avoir du nez pour le ballon". C’est plausiblement vrai, mais impossible à quantifier, à mesurer ou à définir.

Un autre gros problème que rencontrent les travaux empiriques sur les institutions qui s’appuient sur les comparaisons entre pays est celui noté par Glaeser et alii (2004). Selon eux, nos mesures institutionnelles mesurent généralement les survenues et non les différences institutionnelles réelles. Un exemple est celui de Singapour, qui enregistre de très bons résultats sur des mesures institutionnelles comme le risque d’expropriation et les contraintes sur l’exécutif. Sauf sous Lee Kwan Yew, il n’y avait aucune contrainte. Il était un dictateur total, mais il a choisi des politiques favorables aux entreprises et il n’a pas confisqué arbitrairement des biens. Mais il aurait pu le faire, il n’y avait donc pas de limite institutionnelle réelle. Les mesures empiriques des institutions dont nous disposons ne mesurent pas des choix institutionnels profonds, mais des choix politiques transitoires.

Cela nous laisse avec le problème de la taille incroyablement réduite des échantillons, souvent de l'ordre de 50 à 70 pays, ce qui élimine la possibilité de contrôler un certain nombre d'autres variables confondantes sans perdre tous les degrés de liberté. Et n'oublions pas le biais de publication, ce qui signifie que les seules choses que nous voyons dans la littérature sont les résultats statistiquement significatifs qui ont été obtenus au cours de milliers de régressions avec différentes spécifications et mesures des institutions.

En bref, il se peut que les institutions jouent un rôle fondamental pour le développement, mais les études empiriques basées sur les comparaisons entre pays ne le prouvent pas. Je pense qu’il y a un problème fondamental de "mesure avant la théorie" dans ce domaine. Nous ne savons pas ce que nous devrions mesurer, car nous n’avons pas de bonne définition d’une "institution" et encore moins de bonne théorie sur la façon par laquelle elles fonctionnent, émergent, s’effondrent ou se transforment. Nous finissons donc par jeter des choses qui ressemblent à des "institutions" dans des régressions sans savoir ce que nous mesurons réellement.

Dans un prochain billet, nous nous tournerons vers les travaux empiriques comparant les pays de deuxième génération qui utilisent des variables instrumentales. Attention, spoiler : ils ne fonctionnent pas non plus. »

Dietrich Vollrath, « The skeptics guide to institutions – Part 1 », 18 novembre 2014. Traduit par Martin Anota